DeepSeek Open-Source DeepInfer, Framework Inference Produksi untuk V4.1-Flash
Reza
21 Oktober 2026
2 menit baca
DeepSeek secara resmi memperkenalkan DeepInfer, framework inference internal mereka yang kini sepenuhnya open source. Pengumuman disampaikan melalui akun resmi @deepseek_ai pada Selasa (20/10/2026).
DeepInfer merupakan tumpukan produksi yang selama ini digunakan untuk menjalankan model DeepSeek-V4.1-Flash dalam skala besar dengan throughput tinggi dan latensi rendah. DeepSeek menyatakan tujuan pembukaan kode ini adalah membantu komunitas menurunkan biaya komputasi, mengurangi konsumsi energi, serta membuat AI lebih terjangkau.
Selain DeepInfer, DeepSeek juga merilis deepseek-recipe, komponen encoding dan decoding token yang selaras dengan logika pemrosesan di balik API resmi DeepSeek.
| Aspek | Detail |
|---|---|
| Nama | DeepInfer |
| Lisensi | Apache 2.0 |
| Model yang Didukung | DeepSeek-V4.1-Flash (saat ini) |
| Hardware | NVIDIA SM100 GPU & Huawei Ascend 950 NPU |
| Tipe Rilis | Offline inference engine (bukan full online service) |
Fitur Utama DeepInfer
Menurut dokumentasi resmi di GitHub, DeepInfer mencakup sejumlah kemampuan produksi, antara lain:
- Kernel berperforma tinggi dan optimized inference engine
- Distributed inference serta speculative decoding (DSpark dengan confidence-scheduled verification)
- SWA Bounded Replay dan structured outputs
- Parallelism: Attention DP, balanced CP, MoE EP + EPLB
- Asynchronous scheduling dan batch-invariant inference
- Deterministic sampling
DeepSeek juga menegaskan bahwa kode inference untuk model DeepSeek di masa depan serta optimasi berkelanjutan akan ditempatkan di repositori yang sama.
Batasan Rilis Saat Ini
Rilis awal DeepInfer bersifat offline inference engine. Beberapa komponen yang dibutuhkan untuk layanan online lengkap—seperti sistem KV cache, prefill/decode disaggregation, dan load balancing—belum disertakan dalam rilis ini. Meski demikian, sebagian besar fungsionalitas engine sudah tersedia.
Framework ini dibangun dengan dasar dari vLLM serta mengadopsi ide dari SGLang dan TensorRT-LLM.
Dampak bagi Komunitas
Dengan membuka production stack-nya, DeepSeek memberikan kesempatan bagi developer dan organisasi untuk menjalankan model DeepSeek secara lebih efisien di infrastruktur sendiri. Langkah ini sejalan dengan komitmen perusahaan terhadap open models, open kernels, dan open inference.
DeepSeek mengajak komunitas untuk mengeksplorasi kode, berkontribusi, dan membangun bersama agar inference skala besar menjadi lebih efisien, baik di private deployment maupun public cloud.
Perkembangan framework inference open source seperti DeepInfer semakin memudahkan organisasi untuk mengadopsi model AI frontier dengan biaya yang lebih terkendali. Jika perusahaan Anda membutuhkan bantuan dalam implementasi model AI, optimasi inference, atau pengembangan sistem berbasis AI custom, tim Clovertechno siap membantu. Kunjungi clovertechno.id untuk konsultasi lebih lanjut mengenai jasa pembuatan software dan solusi AI.
