AI Agents Gagal Jadi Peneliti Mandiri: Mesin Bisa Engineering, Tapi Tidak Bisa Berpikir Kreatif

Dalam sebuah eksperimen yang cukup brutal untuk standar industri AI, para peneliti memberi AI agents waktu enam hari, uang $3.000 untuk API, akses ke GPU, dan internet terbuka. Tujuannya: hasilkan paper yang layak dipublikasikan di konferensi top. Agents-nya mampu menyelesaikan seluruh proses engineering yang dibutuhkan. Mereka melakukan tinjauan literatur secara mandiri, debugging environment GPU, menjalankan ratusan eksperimen, hingga menyusun dokumen LaTeX yang siap cetak. Tapi paper-nya tetap ditolak.

Penelitian itu dilakukan oleh tim dari Princeton University, UK AI Security Institute, Cornflower Labs, dan Georgetown. Mereka memanggil pendekatan ini shadow evaluation — memberikan pertanyaan riset sentral dari paper yang belum dipublikasikan di NeurIPS 2026, lalu meminta penulis asli paper tersebut untuk menilai output agents seolah-olah itu paper biasa yang dikirim ke konferensi. Hasilnya: Paper pertama mendapat skor 2 dari 6. Paper kedua mendapat skor 1 dari 6. Kedua hasil adalah penolakan tegas.

Apa yang Mereka Lakukan

Tim peneliti menggunakan Claude Opus 4.8 yang berjalan di atas scaffold open-source bernama OpenClaw. Agents diberi kebebasan untuk menggunakan seluruh resource yang dibutuhkan. Mereka boleh menjalankan eksperimen, mengakses web, dan mengulang proses tanpa campur tangan manusia. Berikut yang terjadi:

Yang berhasil:

• Agents menyelesaikan tinjauan literatur secara menyeluruh
• Debugging environment GPU yang kompleks tanpa bantuan
• Menjalankan ratusan eksperimen dan robustness check
• Menyusun dokumen camera-ready LaTeX tanpa intervensi manual, kecuali credentials dan setup repository

Satu hal yang mengejutkan: 9 dari 11 penulis yang ikut survei sebelumnya memprediksi eksperimen akan gagal total karena stuck di error loop yang tidak bisa diselesaikan. Prediksi itu salah. Agents mampu mengatasi setiap hambatan teknis.

Yang gagal: Kedua paper ditolak setelah dinilai oleh penulis asli menggunakan skala NeurIPS. Kegagalan yang tercatat: penilaian buruk terhadap standar paper yang bisa dipublikasikan, respons tidak kreatif terhadap keterbatasan desain, ketidakmampuan untuk mundur dari jalan buntu, kesadaran resource yang rendah meski mendapat dorongan eksplisit untuk menggunakan budget, dan instruction drift — agents tidak mengikuti instruksi tentang alokasi waktu dan batas panjang paper.

Detail paling mencolok: kedua percobaan berhenti dengan menghabiskan kurang dari separuh budget API, meskipun ada himbauan eksplisit untuk menggunakannya. Agents menutup target paling ambisius mereka dalam sepuluh jam pertama dan tidak pernah mengubah arah setelahnya. Satu draft tidak memiliki satupun visualisasi di badan utama, padahal paper asli memiliki 15 gambar.

Reproduksi dengan GPT-5.6 Sol

Tim juga mengulang evaluasi yang sama menggunakan GPT-5.6 Sol dari OpenAI dengan Codex. Hasilnya tetap sama — semua mode kegagalan yang sama muncul. Bedanya, GPT-5.6 Sol menghabiskan seluruh budget $3.000 hanya dalam dua hari. Machines mampu bekerja lebih keras, tapi tetap tidak lebih cerdas.

Penulis penelitian menjelaskan bahwa AgentsAI mungkin bagus dalam hal engineering, tapi tidak dalam hal riset terbuka. Agents bisa menjalankan pipeline kode dan eksperimen, tapi mereka tidak bisa menilai kapan sebuah arah riset sudah gagal dan harus diubah.

Mengapa Ini Terjadi

Kapoor, salah satu peneliti, menjelaskan bahwa masalahnya mungkin terletak pada bagaimana model AI dilatih. Model menjadi baik dalam apapun yang bisa di-drill melalui reinforcement learning — yaitu tugas yang suksesnya bisa diperiksa secara otomatis. Tetapi sangat sulit menciptakan environment pelatihan untuk tugas yang open-ended, yaitu tugas yang jawabannya tidak bisa dihitung secara objektif.

Pembelajaran ini berlawanan dengan cara manusia melakukan riset. Seorang peneliti manusia bisa tahu kapan harus berhenti dari hipotesis yang tidak menjanjikan, kapan harus mundur dan mencoba pendekatan yang sama sekali berbeda, kapan sebuah hasil sudah cukup baik untuk dipublikasikan. AgentsAI saat ini tidak punya kemampuan itu.

Yang juga perlu dicatat: studi ini terbatas pada dua paper saja, dan penulis asli mengetahui bahwa paper yang mereka nilai dihasilkan oleh AI. Ini bisa mempengaruhi penilaian mereka. Namun, CRUX telah merilis artifacts untuk dinilai secara independen oleh ahli lain.

Implikasi untuk Recursive Self-Improvement

Industri AI saat ini secara eksplisit menjadikan automated AI researcher sebagai tujuan besar. OpenAI pernah menyebutkan hal ini, dan Anthropic menyebut self-improving AI sebagai milestone berikutnya. Jika AI agents tidak bisa menghasilkan riset terbuka yang orisinal, maka path menuju recursive self-improvement mungkin melalui desain evaluasi — bukan hanya model yang lebih besar.

Ada optimisme terpisah. Kapoor sendiri menyatakan: jika ada investasi dan upaya sadar ke arah ini, mungkin akan ada kemajuan menarik — bahkan jika saat ini gagal. Sebagian percaya bahwa transformative AI yang dibutuhkan untuk recursive self-improvement mungkin sudah ada, dan yang diperlukan hanya memeras lebih banyak dari sistem yang sudah ada. Namun yang jelas, bukti saat ini menunjukkan bahwa claim tentang AI yang akan segera memperbaiki dirinya sendiri mungkin terlalu.

Sumber

1. MIT Technology Review — “AI’s recursive self-improvement might not come so quickly after all” (18 Agustus 2026)
2. Agenccy.ai — “Agents Did the Engineering of Research and Scored 2 of 6” (30 Juli 2026)
3. Hyper.ai — Paper Summary: “Can AI Agents Conduct Open-Ended AI Research?” (2026)
4. ArXiv — “Can AI Agents Conduct Open-Ended AI Research? Early Evidence from Two Case Studies” (29 Juli 2026)