Agen AI Bocorkan System Prompt: Rentan Terhadap Prompt Injection

Ringkasan Eksekutif

Penelitian terbaru mengungkapkan fakta mengejutkan: sebagian besar agen AI yang dipakai enterprise tidak bisa menahan serangan prompt injection. Studi StakeBench (Juni 2026) menunjukkan bahwa serangan tidak langsung mencapai tingkat keberhasilan 41-68%, sementara serangan langsung melebihi 79%. Yang lebih mengkhawatirkan, satu prompt injection tunggal berhasil mencuri kunci API dari tiga agen coding frontier sekaligus — Claude Code, Gemini CLI, dan Copilot Agent. Tingkat kerentanan ini muncul di 73% deployment AI dalam produksi menurut OWASP.

Apa Itu Prompt Injection

Prompt injection adalah teknik serangan yang menyisipkan instruksi jahat ke dalam input yang terlihat normal — misalnya review produk di marketplace, komentar di GitHub, atau metadata website. Ketika agen AI memproses konten tersebut, instruksi tersembunyi itu dijalankan alih-alih instruksi asli dari pengguna.

Bedanya dengan jailbreak: jailbreak membobol batas keamanan model, sedangkan prompt injection memanfaatkan cara kerja agen AI yang memang harus membaca dan merespons konten eksternal. Agen AI tidak bisa membedakan antara instruksi pengguna dan konten dari luar yang sudah disusupi.

Temuan StakeBench: Semua Konfigurasi Gagal

Peneliti dari Nanyang Technological University, ST Engineering, IBM Research, dan University of Illinois Urbana-Champaign mengembangkan StakeBench, benchmark khusus untuk menguji resistensi agen AI terhadap prompt injection dalam lingkungan web realistis.

Mereka menjalankan 3.168 percobaan adversarial menggunakan 264 kasus benchmark. Hasilnya:

• Serangan tidak langsung (instruksi tersembunyi di review produk, metadata): tingkat keberhasilan 41,67% hingga 68,16%
• Serangan langsung: melampaui 79% di semua konfigurasi yang diuji
• Wilayah Robust Behavior tetap kosong di semua konfigurasi — artinya tidak satu pun konfigurasi yang berhasil menyelesaikan tugas pengguna tanpa ikut menjalankan tujuan penyerang

Mereka menguji agen AI web yang didukung GPT-5 dan Gemini. Tidak ada yang konsisten memblokir serangan.

Comment and Control: Tiga Agen Sekaligus Terdampak

Peneliti dari Johns Hopkins University — Aonan Guan, Zhengyu Liu, dan Gavin Zhong — menemukan kerentanan yang sama efektifnya terhadap tiga agen coding berbeda secara bersamaan.

Caranya sederhana: mereka membuka pull request di GitHub, mengetik instruksi jahat di kolom judul PR, lalu duduk santai sementara agen AI memposting kunci API-nya sendiri sebagai komentar di PR tersebut.

Serangan ini bekerja pada:

• Anthropic Claude Code Security Review — kunci API diposting langsung, CVSS 9.4 (Critical, $100)
• Google Gemini CLI Action — $1.337
• GitHub Copilot Agent (Microsoft) — $500

Satu prompt, tiga kunci API. Tidak perlu infrastruktur eksternal.

Yang bikin penasaran: Anthropic sendiri sudah menulis di system card Opus 4.7 bahwa Claude Code Security Review “tidak di-hardening terhadap prompt injection.” Mereka sudah tahu, tapi tetap dirilis.

Typologi Kerentanan: Empat Hasil yang Mungkin

StakeBench mengevaluasi setiap serangan berdasarkan empat kemungkinan hasil:

Robust Behavior adalah kondisi ideal: agen menyelesaikan tugas pengguna tanpa menjalankan tujuan penyerang dan tanpa ketidakstabilan eksekusi. Kondisi ini tidak pernah tercapai di semua konfigurasi yang diuji.

Stealthy Parasitism terjadi ketika agen menyelesaikan tugas pengguna tapi secara bersamaan menjalankan agenda penyerang. Contoh dari paper penelitian: agen belanja online yang memilih produk tertentu bukan karena pengguna minta, tapi karena instruksi tersembunyi di review produk. Pengguna tetap dapat rekomendasi yang terlihat normal, tapi penjual pesaing dirugikan.

Misaligned Disruption adalah ketika serangan mengganggu tugas pengguna tanpa mencapai tujuan adversarial. Agen gagal tugasnya tapi penyerang juga tidak dapat apa-apa.

Compounded Failure terjadi ketika keduanya gagal dan ketidakstabilan eksekusi juga muncul.

Pembuktian Konsep: Serangan Nyata

Di luar lab, insiden nyata sudah terjadi. CVE-2025-53773 mengungkapkan bahwa prompt injection tersembunyi di deskripsi pull request memungkinkan eksekusi kode jarak jauh. Stanford HAI AI Index Report mencatat peningkatan 56,4% insiden keamanan AI yang dilaporkan secara publik dari 2023 ke 2024 — dan tren ini terus berlanjut.

Serangan prompt injection meningkat 340% pada 2026. Lonjakan ini didorong oleh semakin lazimnya deployment agen AI di enterprise, sementara pertahanan mereka tertinggal jauh.

73% Deployment AI Terdampak

OWASP menempatkan prompt injection sebagai ancaman nomor satu di LLM Top 10 untuk 2026. Data dari keamanan siber nyata mendukung ini: 73% sistem AI dalam produksi yang diaudit menunjukkan kerentanan terhadap prompt injection.

Angka lain juga mengkhawatirkan: 82% enterprise sudah menggunakan agen AI, tapi hanya 44% yang punya kebijakan untuk mengamankannya. Kesenjangan antara adopsi dan keamanan ini menciptakan celah besar.

Analisis sistematis terhadap 78 studi juga menemukan sesuatu yang lebih mencolok: setiap agen coding yang diuji rentan terhadap prompt injection, tanpa pengecualian.

Lima Strategi Mitigasi yang Bisa Diterapkan

Least-privilege access adalah langkah pertama. Berikan agen AI hanya izin yang benar-benar diperlukan untuk tugas spesifik. Jika agen hanya butuh membaca database, jangan beri akses tulis. Jika hanya perlu mengakses satu API, jangan berikan kunci yang membuka semuanya.

Defense-in-depth berarti layered security. Sanitasi input, validasi output, dan pemisahan privilege di setiap layer. Satu lapisan bisa gagal — sehingga dibutuhkan banyak lapisan yang bekerja bersama.

Output validation penting karena model AI bisa menghasilkan output yang tidak terduga. Validasi setiap output terhadap aturan ketat sebelum dijalankan. Ini termasuk memverifikasi bahwa tindakan yang diambil agen memang sesuai dengan instruksi asli.

Separate trust boundaries harus tegas. Jangan pernah mencampurkan konten dari sumber eksternal dengan instruksi pengguna dalam konteks yang sama. Gunakan sandbox atau isolasi proses untuk konten yang berasal dari luar.

Continuous monitoring diperlukan karena keamanan bukan proyek sekali jadi. Pantau setiap eksekusi agen, catat anomali, dan perbarui pertahanan seiring munculnya teknik serangan baru.

Kesimpulan

Fakta bahwa 73% deployment AI rentan terhadap prompt injection bukan sekadar angka — ini adalah peringatan bahwa keamanan agen AI belum siap untuk adopsi masif yang sudah terjadi. Serangan tidak perlu rumit. Cukup satu prompt tersembunyi di review produk, dan kunci API jutaan dollar bisa bocor.

Satunya konsensus yang muncul dari semua penelitian: tidak ada vendor yang benar-benar bisa mengklaim aman. System card yang panjang dan detail tidak secara otomatis berarti terlindungi. Kadang justru vendor yang paling transparan tentang keterbatasan mereka — seperti Anthropic yang dengan jujur menulis “tidak di-hardening” — yang paling bisa diandalkan.

Untuk enterprise yang sudah atau akan menggunakan agen AI: asumsi default harusnya adalah semua input eksternal sudah dikompromikan. Defense bukan lagi sesuatu yang opsional.

Sumber

1. Prompt injection breaks today’s AI agents, study warns — CSO Online
2. Claude Code, Gemini CLI, GitHub Copilot Agents Vulnerable to Prompt Injection — SecurityWeek
3. When AI Agents Turn Against You: The Prompt Injection Threat — Forbes
4. Prompt Injection Attacks: The Hidden Security Crisis — AI Magicx
5. Even the Best AI Agents Leak Secrets: Prompt Injection Is Why — Cequence AI
6. AI Agent Traps: 20 Real-Life Incidents — AI Multiple
7. Prompt Injection 2026: OWASP LLM Vulnerability — Kunal Ganglani
8. Top AI Security Vulnerabilities to Watch in 2026 — Cycode
9. AI Security Statistics 2026 — Practical DevSecOps
10. What Is a Prompt Injection Attack? — Darktrace