OSWorld 2.0: Benchmark Baru yang Bikin AI Agent Terlihat Masih Remaja
OSWorld 2.0: Benchmark Baru yang Bikin AI Agent Terlihat Masih Remaja
Ringkasan Eksekutif
OSWorld 2.0 hadir pada 25 Juni 2026 sebagai benchmark baru untuk mengukur kemampuan AI agent dalam menyelesaikan tugas desktop jangka panjang di dunia nyata. Berbeda dari versi original yang punya 369 tugas singkat, OSWorld 2.0 cuma menyediakan 108 tugas tapi semuanya adalah alur kerja profesional yang bisa memakan waktu lebih dari satu jam bagi manusia. Hasilnya bikin malu: Claude Opus 4.8 saja cuma menyelesaikan 20,6% tugas secara utuh. Leaderboard-nya juga menarik — Claude Opus 4.8 memimpin, menyalip GPT-5.5 yang duduk di posisi empat dengan angka 13,9%.
OSWorld 1.0 vs 2.0: Jangan Salah Kaprah
Banyak yang mengira OSWorld 2.0 adalah upgrade biasa dari versi 1.0 karena namanya. Sebenarnya beda jauh. OSWorld 1.0 yang dirilis April 2024 punya 369 tugas pendek — agents bisa selesai dalam waktu kurang dari 30 langkah. Agents masa kini sudah mencapai skor 83,5% di versi lama itu, yang artinya sudah hampir jenuh.
OSWorld 2.0 tidak melanjutkan dari titik yang sama. Benchmark ini sengaja dirancang ulang dari awal dengan fokus yang beda: tugas jangka panjang yang realistis. Dari 108 tugas yang ada, 69,6% membutuhkan waktu lebih dari satu jam bagi manusia untuk menyelesaikannya. Rata-rata agent membutuhkan lebih dari 250 langkah untuk mencoba menyelesaikannya.
Angka-Angka yang Bikin Terbelalak
Mari kita bedah angka-angkanya seperti dilaporkan Snorkel AI sebagai pihak yang membangun benchmark ini.
108 tugas yang tersebar di 31 environment berbeda — mulai dari aplikasi desktop profesional sampai situs web self-hosted. Setiap tugas punya rata-rata 27,25 checkpoint scoring, artinya ada puluhan titik ukur keberhasilan di sepanjang proses, bukan cuma berhasil atau gagal total.
Ini yang penting: OSWorld 2.0 pakai sistem partial-credit scoring. Agent tidak harus menyelesaikan 100% tugas untuk dapat skor. Kalau agent menyelesaikan 40% dari 27 checkpoint yang ada, skornya 40%. Pendekatan ini lebih jujur dalam mengukur kemajuan agent, karena dunia nyata tidak bekerja dengan sistem semua-atau-tidak.
Claude Opus 4.8 dengan strategi Batched tool duduk di puncak leaderboard 500 langkah: 20,6% penyelesaian binary dan 54,8% partial score. Untuk konteks, 500 langkah adalah batas maksimum yang diizinkan dalam evaluasi ini — bukan jaminan agent akan selesai dalam 500 langkah. Semakin banyak langkah yang diizinkan, semakin besar peluang agent menyelesaikan tugas yang panjang.
Claude Opus 4.7 dengan Batched tool di posisi kedua: 18,2% binary, 48,91% partial. GPT-5.5 dengan Batch tool duduk di posisi empat dengan 13,9% binary dan 49,5% partial — biaya operasionalnya $2.750 untuk sekali evaluasi penuh.
Mengapa AI Agent Masih Belum Bisa Diandalkan
Ada alasan fundamental mengapa angka-angkanya masih rendah meski kemajuan di benchmark lain terlihat spektakuler.
Pertama, tugas di OSWorld 2.0 bukan soal menjawab pertanyaan atau menulis kode pendek. Ini adalah alur kerja profesional yang melibatkan banyak aplikasi sekaligus. Agent harus membuka LibreOffice, mengedit spreadsheet, simpan ke direktori yang benar, kirim email dengan lampiran yang sesuai, lalu catat di database — semua dalam satu sesi.
Kedua, tugas-tugas ini tidak memberikan reward signal yang jelas di tengah jalan. Agent harus bisa mengevaluasi sendiri apakah langkah yang diambil sudah benar atau belum, tanpa panduan dari benchmark yang memberi tahu “kamu sudah di jalur yang benar” setiap beberapa langkah.
Ketiga, biaya komputasi untuk tugas yang panjang itu besar. Evaluasi menunjukkan biaya per tugas bisa mencapai ribuan dolar untuk model-model frontier. Itu belum termasuk biaya untuk mencoba berkali-kali karena gagal di tengah jalan.
Leaderboard di Bawah 500 Langkah
Menarik untuk diperhatikan bagaimana performa turun drastis ketika batas langkah dikurangi.
Pada batas 150 langkah, hampir semua model tidak bisa menyelesaikan satu pun tugas secara utuh. Partial score mereka juga turun signifikan — Claude Opus 4.8 jatuh ke level teens untuk binary completion.
Pada 300 langkah, ada sedikit perbaikan tapi masih jauh dari hasil 500 langkah. Pattern ini menunjukkan bahwa banyak tugas di OSWorld 2.0 memang membutuhkan lebih dari 300 langkah untuk diselesaikan secara serius.
Jadi kalau ada yang mengklaim AI agentnya “sudah bagus” di benchmark lain, tanyakan dulu: berapa langkah yang diizinkan? Tugas yang selesai dalam 30 langkah itu bukan level yang sama dengan tugas yang butuh 300 langkah.
Tujuh Domain Profesional yang Diuji
108 tugas OSWorld 2.0 tersebar di tujuh domain utama.
Document preparation mencakup tugas-tugas seperti membuat laporan, mengedit dokumen panjang, dan mengelola file dengan struktur direktori yang kompleks. Software and databases mencakup interaksi dengan database, menulis query, dan mengelola konfigurasi. Finance and operations analysis mencakup bekerja dengan spreadsheet, menghasilkan grafik, dan membuat ringkasan numerik.
Domain lainnya mencakup research workflows di mana agent harus mencari informasi, menyimpannya, dan memprosesnya. Creative production untuk tugas-tugas desain dan multimedia. Personal services untuk alur kerja kehidupan sehari-hari seperti mengelola kalender dan email. Administration and compliance untuk tugas-tugas yang melibatkan pengarsipan dan kepatuhan terhadap prosedur.
Healthcare workflows termasuk yang paling menantang karena ada unsur regulatory compliance yang harus dipatuhi.
Apa Artinya Ini untuk Industri
Benchmark OSWorld 2.0 mengirimkan satu pesan jelas ke industri: AI agent untuk penggunaan profesional masih dalam tahap sangat awal.
Pertanyaan yang harus diajukan bukan lagi “apakah AI agent bisa menggantikan manusia?” tapi “tugas mana yang sebenarnya sudah bisa diotomatisasi dengan tingkat keandalan yang masuk akal?”
Kalau Claude Opus 4.8 sebagai model terbaik sekalipun cuma menyelesaikan satu dari lima tugas jangka panjang secara utuh, perusahaan yang mengharapkan AI agent untuk otomatisasi alur kerja ujung-ke-ujung akan mengalami kekecewaan. Yang lebih realistis adalah menggunakan agent untuk bagian-bagian tertentu dari sebuah alur kerja — bukan seluruh proses.
Perbandingan Singkat OSWorld 1.0 vs 2.0
| Aspek | OSWorld 1.0 | OSWorld 2.0 |
|---|---|---|
| Jumlah tugas | 369 | 108 |
| Panjang tugas | Kurang dari 30 langkah | Lebih dari 250 langkah rata-rata |
| Waktu manusia | Beberapa menit | Lebih dari 1 jam (69,6% tugas) |
| Scoring | Binary (berhasil atau gagal) | Partial credit (multi-checkpoint) |
| Skor terbaik sekarang | 83,5% | 20,6% pada 500 langkah |
| Fokus | Desktop tasks singkat | Alur kerja profesional panjang |
Sumber
- Snorkel AI — OSWorld 2.0 (25 Juni 2026)
- OSWorld Official Website (2024-2026)
- X (Twitter) — Taoyds (27 Juni 2026)
- PDF OSWorld 2.0 Paper (Juni 2026)
- Coasty AI — 82% on OSWorld (5 Juni 2026)
- Beancount — OSWorld Desktop AI Agents (15 Juni 2026)
- MLSys — OSWorld-Human (Mei 2026)
- Steel Dev Leaderboard (Mei 2026)
