DeepSeek Rilis DSpark: Speculative Decoding Bikin V4 85 Persen Lebih Cepat
DeepSeek pada 27 Juni 2026 merilis DSpark, framework optimasi inference yang diklaim perusahaan itu bikin model V4-Flash menghasilkan respons sampai 85 persen lebih cepat dari baseline token-tunggal sebelumnya. Tidak perlu retraining, tidak perlu ganti bobot model, tidak perlu tambah hardware baru. Framework ini built di atas teknik speculative decoding dan sekarang sudah jalan di V4-Flash dan V4-Pro, tersedia sebagai kode open-source bajo lisensi MIT.
Yang tidak dirilis DeepSeek adalah model baru. Model card Hugging Face untuk DeepSeek-V4-Pro-DSpark dan DeepSeek-V4-Flash-DSpark jelas: keduanya adalah checkpoint yang sama dengan tambahan modul speculative decoding.
Kenapa Speculative Decoding Penting untuk Model 1,6 Triliun Parameter
Generasi autoregressive standar memaksa model menghasilkan token satu per satu. Untuk sistem seperti V4-Pro — yang punya total 1,6 triliun parameter dengan 49 miliar diaktifkan tiap forward pass lewat arsitektur Mixture-of-Experts — setiap token tunggal butuh satu forward pass penuh yang mahal. Di concurrency pengguna tinggi, bottleneck sekuensial ini membakar GPU memory bandwidth lebih cepat dari compute, bikin unit pemrosesan menganggur sebagian di antara langkah.
Speculative decoding menyerang bottleneck ini dengan cara berbeda. Model draft kecil nan cepat mengusulkan blok token kandidat secara simultan. Model target penuh kemudian memverifikasi seluruh blok dalam satu forward pass. Kalau token draft benar, sistem dapat beberapa token sekaligus dengan biaya hampir sama dengan satu langkah verifikasi. Proses verifikasi pakai rejection sampling buat menjamin output distribution secara matematis identik dengan generasi autoregressive standar — kualitas output tidak berubah.
Tiga Inovasi Engineering DSpark
DSpark memperkenalkan tiga inovasi engineering yang mengatasi failure mode produksi nyata.
Semi-autoregressive generation. Model draft paralel standar menghasilkan seluruh blok token dalam satu pass, treat setiap posisi secara independen. Kecepatan ini ada harganya: setiap posisi abaikan tetangganya, yang bikin researchers sebut suffix decay — token di akhir blok makin kecil kemungkinannya buat diterima karena draft tidak punya info tentang apa yang muncul sebelumnya. DSpark tangani ini dengan hybrid architecture: backbone paralel cepat menghasilkan base probability estimates untuk setiap posisi, lalu Markov head ringan menambahkan token-conditioned bias sebelum setiap token di-sampling. Markov head pakai low-rank factorization di rank 256 biar tetap murah secara komputasi walau dengan vocabulari model besar. Begitu posisi pertama menghasilkan token spesifik, Markov head boost conditional probabilities untuk token yang kemungkinan mengikuti, kurangi suffix decay tanpa biaya penuh sequential drafting.
Confidence-scheduled verification. Speculative decoding standar kirim semua token draft ke model target buat verifikasi — termasuk token yang sistem curigai akan ditolak, buang budget verifikasi buat kerugian tertentu. DSpark tambah confidence head yang nge-score probability penerimaan setiap token draft. Prefix scheduler yang hardware-aware kemudian pakai confidence scores itu buat secara dinamis trim verification length: kalau GPU idle, scheduler verifikasi prefix lebih panjang; kalau GPU di bawah beban, dia potong agresif ke token dengan confidence tertinggi. Adaptive trimming ini eliminasi siklus verifikasi yang terbuang tanpa kompromi pada jaminan output lossless.
Zero-Overhead Scheduling (ZOS). Di lingkungan produksi dengan high-concurrency, keputusan scheduling sendiri habiskan waktu yang menambah latency. Scheduler DSpark beroperasi secara asinkron, pakai prediksi dari dua langkah verifikasi sebelumnya buat tentukan truncation length optimal sebelum keputusan itu dibutuhkan. Ini permett continuous CUDA graph replay tanpa stalls, menyembunyikan scheduling latency sepenuhnya.
Angka-Angka dari Internal Production Data
Konfigurasi yang deployed — disebut DSpark-5 — pakai blok draft lima token dengan Markov head. Di data produksi internal DeepSeek, DSpark-5 meningkatkan per-user generation speed 60 sampai 85 persen di V4-Flash dan 57 sampai 78 persen di V4-Pro dibandingkan baseline MTP-1 sebelumnya, sambil jaga overall system throughput tetap konstan. Persamaan latency per-token dari paper mereka: L = (draft time + verification time) / jumlah accepted tokens per cycle. Setiap token diterima tambahan mempersempit L secara proporsional.
Dari pengujian benchmark DeepSeek, DSpark juga kalahkan Eagle3 dan DFlash di beberapa metric kecepatan, selain sudah mengalahkan teknik speculative decoding lainnya dalam hal efficient token generation per GPU cycle.
Bisa Dipakai untuk Model Lain
DeepSeek juga open-source-kan DeepSpec, toolkit lengkap untuk melatih dan mengevaluasi model draft buat speculative decoding. Repository-nya mencakup data preparation utilities, scripts pelatihan, dan evaluasi. Yang menarik, teknik yang sama bisa dipakai untuk keluarga model lain selain DeepSeek — beberapa developer sudah mulai porting ke Qwen3 dan Gemma, menurut laporan dari komunitas open-source.
Kalau saat ini kamu bayar buat serve DeepSeek V4 dalam skala besar, kecepatan ini berarti pengurangan langsung di biaya compute per output token. Buat developer yang evaluate apakah akan self-host bobot V4, DSpark adalah serving layer yang bikin arsitektur itu tampak jauh lebih kompetitif.
Sumber
- TechTimes — “DeepSeek Releases DSpark: Speculative Decoding Makes V4 Up to 85 Percent Faster” (28 Juni 2026)
- AI Weekly — “DeepSeek open-sources DeepSpec speculative decoding toolkit” (2 Juli 2026)
- LLM Rumors — “DeepSpec: DeepSeek Open-Sourced the Inference Cost War” (1 Juli 2026)
- SudoAll — “DSpark Explained: How DeepSeek Made LLM Serving 60-85% Faster” (4 Juli 2026)
- GitHub — DeepSeek-ai/DeepSpec: Full-stack Speculative Decoding Codebase (26 Juni 2026)
