AMD GorModel AI ke Dalam Silicon, Kecepatan 17.000 Token Per Detik
AMD baru saja membeli Taalas, startup yang punya pendekatan unik untuk mempercepat inferensi AI. Alih-alih menjalankan model di GPU biasa, Taalas mencetak model AI langsung ke dalam silicon — membuat chip yang memang dirancang khusus untuk satu model tertentu.
Apa yang Taalas Bikin
TechCrunch mencatat, Taalas mengembangkan chip yang model AI-nya langsung dibakar ke hardware. Ini bukan GPU — ini custom silicon yang hanya bisa menjalankan satu model. Pendekatan ini bernama model-specific integrated circuits (MSIC).
Hasilnya? Demo awal Taalas menunjukkan kecepatan 17.000 token per detik. Bandingkan dengan GPUhigh-end yang biasanya mentok di ribuan token per detik untuk model besar.
Kenapa Ini Penting
GPU memang fleksibel. Tapi untuk inferensi skala besar, efisiensi jadi masalah. GPU mengonsumsi daya besar dan panas tinggi. Chip khusus yang memang dirancang untuk satu model bisa lebih kecil, lebih dingin, dan lebih hemat listrik.
AMD bilang akuisisi ini akan memperkuat posisi mereka di pasar inference chip, yang sekarang dikuasai Nvidia. Dengan Taalas, AMD bisa menawarkan solusi yang lebih cepat untuk perusahaan yang butuh memproses jutaan permintaan AI per hari.
Analis dari SemiAnalysis menyebut pendekatan ini sebagai “the next frontier” setelah GPU general-purpose. Jika model di-print ke silicon, tidak ada overhead komputasi dari arsitektur universal.
Tantangan ke Depan
Semua chip especializada punya satu masalah: biaya. Untuk satu model, perlu desain chip baru. Jika model di-update atau diganti, chip lama jadi tidak berguna. Ini berbeda dengan GPU yang bisa menjalankan model apa pun.
Proses manufaktur chip juga rumit. Taalas belum mengungkapkan siapa foundry yang mereka pakai, tapi speculation mengarah ke TSMC.
Akuisisi ini terjadi di tengah perlombaan desain chip AI. Google punya TPU, Amazon punya Trainium, Microsoft punya Maia. Semua ingin terlepas dari ketergantungan pada Nvidia CUDA.
AMD dan Taalas belum mengumumkan nilai akuisisi. Informasi lebih lanjut diharapkan keluar dalam beberapa minggu ke depan.
