CursorBench v3.1: Cursor Composer 2.5 Unggul, Tapi Persaingan Sebenarnya di Belakang
CursorBench v3.1: Cursor Composer 2.5 Unggul, Tapi Persaingan Sebenarnya di Belakang
Ringkasan Eksekutif
CursorBench v3.1 adalah benchmark proprietary milik Cursor untuk mengukur kemampuan AI coding agent dalam menyelesaikan tugas pemrograman jangka panjang di dalam environment Cursor agent loop. Update Mei 2026 membawa versi 3.1 dengan soal-soal yang lebih sulit dari versi sebelumnya. Hasil snapshot terkini menunjukkan Composer 2.5 dari Cursor memimpin di angka 63,2%, diikuti GPT-5.5 di 59,2% dan Claude Opus 4.8 di 58,4%. Tapi yang menarik bukan siapa yang memimpin — melainkan betapa dekatnya semua model di papan atas.
Apa Itu CursorBench
CursorBench adalah benchmark internal yang dibuat Cursor, perusahaan di belakang AI coding editor Cursor. Berbeda dari SWE-bench yang mengukur kemampuan menyelesaikan issue GitHub, CursorBench dirancang khusus untuk mengukur perilaku agentik jangka panjang di dalam workflow Cursor.
Artinya, benchmark ini mengetes bukan cuma “apakah AI bisa menyelesaikan bug?” tapi “apakah AI bisa beroperasi efektif di dalam loop agent Cursor selama berjam-jam mengerjakan tugas pemrograman yang kompleks dan ambigu?”
CursorBench v3.1 fokus pada harder tasks — tugas-tugas yang membutuhkan multiple-file editing, pemahaman konteks proyek yang luas, dan eksekusi berurutan yang panjang.
Angka-Angka Leaderboard v3.1
Mari kita bedah hasil snapshot 27 Juni 2026 yang dikumpulkan oleh BenchLM.
Composer 2.5 Cursor memimpin di 63,2% dengan context 200K. GPT-5.5 OpenAI duduk di posisi dua dengan 59,2% — context 1M. Claude Opus 4.8 Anthropic di posisi tiga dengan 58,4% — context 1M. Gemini 3.5 Flash Google di 49,8%. Claude Sonnet 4.6 Anthropic di 48,8%. Kimi K2.6 Moonshot AI di 47,6%.
Jeda antara posisi pertama dan keenam cuma 15,6 poin — ini menunjukkan bahwa benchmark CursorBench v3.1 memang cukup sulit untuk memisahkan model-model terbaik, tapi tidak sampai membuat satu model mendominasi secara absolute.
Yang menjadi sorotan adalah Composer 2.5 — model proprietary Cursor — memimpin meskipun context window-nya cuma 200K, jauh lebih kecil dari kompetitornya yang punya context 1M. Ini menunjukkan bahwa untuk tugas coding agentik jangka panjang, efisiensi konteks bisa lebih penting dari sekadar context window yang besar.
Kenapa Context Window Tidak Cukup
Ada narasi di industri bahwa context window adalah segalanya untuk AI coding agent — semakin besar semakin baik. CursorBench v3.1 mengajukan pertanyaan berbeda.
Composer 2.5 cuma punya context 200K tapi memimpin. Claude Opus 4.8 dan GPT-5.5 punya context 1M tapi duduk di bawahnya. Ini bukan berarti context window tidak penting — tapi artinya untuk benchmark yang mengukur perilaku agentik jangka panjang, hal lain juga berperan besar.
Kemampuan untuk tetap fokus pada instruksi yang ambigu selama berjam-jam, kemampuan untuk melakukan editing multi-file secara konsisten, dan kemampuan untuk memahami struktur proyek secara holistik — semua ini tidak bisa diukur hanya dengan context window.
Perbandingan dengan Benchmark Lain
Penting untuk menempatkan CursorBench dalam konteks benchmark coding lainnya.
Di SWE-bench — benchmark yang mengukur penyelesaian issue GitHub nyata — Claude Opus 4.8 memimpin dengan skor di atas 88%. SWE-bench Verified leaderboard menunjukkan Claude Mythos Preview di 93,9% per April 2026.
Di Terminal-Bench 2.1 — benchmark untuk AI coding agent di terminal — hasil per 17 Juni 2026 menunjukkan Claude Code + Fable 5 di 83,1%, Terminus 2 + Fable 5 di 80,4%.
Angka-angka ini jauh lebih tinggi dari CursorBench v3.1 yang tertinggi cuma 63,2%. Mengapa bedanya sangat jauh?
Karena CursorBench mengukur sesuatu yang berbeda. Ini bukan soal menyelesaikan satu issue atau satu tugas coding pendek. Ini soal tetap beroperasi secara efektif di dalam workflow editing yang kompleks selama periode waktu yang panjang, dengan banyak keputusan yang harus diambil di sepanjang jalan.
Apa Artinya untuk Developer
Kalau kamu adalah developer yang sedang memilih AI coding assistant, angka-angka CursorBench v3.1 memberikan perspektif yang berguna tapi perlu dibaca dengan benar.
Composer 2.5 memimpin di benchmark Cursor karena memang dirancang untuk bekerja di dalam ekosistem Cursor. Ini tidak berarti Composer 2.5 adalah model terbaik untuk semua use case — apalagi kalau kamu tidak menggunakan Cursor sebagai editor.
Claude Opus 4.8 dan GPT-5.5 yang duduk di bawahnya dengan selisih tipis masing-masing punya kelebihan sendiri. Claude Opus 4.8 memimpin di SWE-bench dengan persentase yang jauh lebih tinggi. GPT-5.5 mungkin lebih efisien dalam konteks tertentu.
Benchmark jangan dibaca sebagai “model A lebih baik dari model B” — tapi “model A lebih baik untuk type tugas tertentu.” CursorBench v3.1 mengukur kinerja di dalam Cursor agent loop. Kalau workflow kamu bukan di Cursor, benchmark ini memberikan insight terbatas.
Mengapa First-Party Benchmark Sering Diperdebatkan
CursorBench adalah benchmark first-party — dibuat oleh Cursor sendiri untuk mengukur kinerja di produk mereka sendiri. Ini menimbulkan pertanyaan valid tentang bias.
Pertanyaan yang wajar: apakah soal-soal di CursorBench v3.1 sengaja dipilih untuk membuat Composer 2.5 terlihat bagus? Apakah metodologi evaluasi sudah cukup ketat untuk mengeliminasi confounding factors?
Cursor sendiri menyebut bahwa benchmark ini display-only di platform seperti BenchLM — artinya tidak digunakan untuk ranking keseluruhan, hanya sebagai referensi. Pendekatan ini cukup jujur tapi juga menunjukkan keterbatasan dalam bagaimana hasil benchmark ini bisa diinterpretasi.
Perbandingan Snapshot v3.0 vs v3.1
CursorBench sebelumnya ada di versi 3.0 dan dibawa ke 3.1 pada Mei 2026 dengan soal-soal yang lebih sulit. Perubahan ini membuat perbandingan langsung antara skor v3.0 dan v3.1 tidak apple-to-apple.
Cursor sendiri memperingatkan bahwa karena distribusi soal berubah, skor tidak bisa dibandingkan langsung antara versi. Skor 63,2% di v3.1 tidak bisa dianggap “lebih baik” atau “lebih buruk” dari skor yang dicapai model yang sama di v3.0.
Ini adalah pengingat bahwa benchmark bukan ilmu pasti — ada banyak keputusan desain yang mempengaruhi hasil, mulai dari seleksi soal, kriteria keberhasilan, sampai cara scoring dihitung.
Sumber
- BenchLM — CursorBench v3.1 (27 Juni 2026)
- Cursor Blog — How We Compare Model Quality (Maret 2026)
- BenchLM — SWE-bench Pro Leaderboard (Juni 2026)
- MorphLLM — Best AI Coding Agents June 2026 (18 Juni 2026)
- MarkTechPost — Best AI Agents for Software Development (15 Mei 2026)
- Digital Applied — AI Coding Assistants April 2026 (2 April 2026)
- SWE-bench Official Leaderboard (Juni 2026)
