2026-10-21
DeepInfer, il motore con cui DeepSeek serve i propri modelli
DeepSeek pubblica DeepInfer, il framework di inferenza della propria produzione. Il rilascio copre DeepSeek-V4.1-Flash in modalità offline, su GPU NVIDIA SM100 e NPU Huawei Ascend 950.
DeepInfer è il framework di inferenza ad alte prestazioni con cui DeepSeek esegue i propri servizi. Il codice è sotto licenza Apache 2.0. Questa prima release pubblica l'inferenza offline e le funzioni di base per lavorare su larga scala. Nel catalogo SophyAI entra come motore di riferimento, non ancora avviabile.
Quale modello
Il modello supportato è DeepSeek-V4.1-Flash. L'esempio examples/offline_inference.py scarica al primo avvio il checkpoint deepseek-ai/DeepSeek-V4.1-Flash-1017. Una copia locale si indica con DEEPINFER_HF_MODEL_DIR.
DeepInfer nasce soprattutto da vLLM, con idee prese anche da SGLang e TensorRT-LLM. I kernel nominati nel README sono FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect e kernel TileLang.
Cosa sa fare
- Parallelismo dell'attenzione in data parallel e context parallel bilanciato, e del MoE in expert parallel con EPLB.
- DSpark e verifica pianificata in base alla confidenza.
DEEPINFER_ENABLE_MTP_VARLEN=1la accende;DEEPINFER_USE_NEXTN_DECODEfissa la lunghezza massima della bozza, di default 5. - Replay limitato della finestra di attenzione scorrevole, per ridurre il prefill. I valori pubblicati per V4.1 sono
DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compacteDEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140. - Scheduler asincrono, acceso di default: la preparazione del batch sulla CPU si sovrappone all'esecuzione sul dispositivo.
- Inferenza invariante al batch e sampling deterministico, su NVIDIA, con
DEEPINFER_BATCH_INVARIANT=1. - Output vincolati a una regex, a uno schema JSON o a una grammatica EBNF.
Su quale hardware
Le GPU indicate sono le NVIDIA SM100. Le NPU indicate sono le Huawei Ascend 950. Servono Linux, GCC 13 o successivo, Python 3.12 e, su NVIDIA, CUDA 13. La build parte da un ambiente Python vuoto, con DEEPINFER_ACCELERATOR=nvidia oppure ascend, e ./build.sh.
Le curve di prestazione nel repository sono state misurate da DeepSeek su 4 GPU SM100 per il prefill e su 64 per il decode, ciascuna dentro un solo dominio di scale-up. I grafici sono nel README. SophyAI non ripubblica quei punti come misure proprie.
Nel catalogo
Il profilo dsv41-deepinfer-b200-4x associa DeepInfer a 4× B200, la classe SM100 già presente nel catalogo, e al checkpoint 1017. La fascia di listino di 4× B200 nel catalogo è 20–28 USD/h. È un riferimento: launch=reference e launchable=false.
Il README elenca, come pezzi di un servizio completo da aggiungere a questa release, un sistema di KV cache, la disaggregazione tra prefill e decode, e il bilanciamento del carico fra le repliche. Il path già catalogato con API OpenAI resta vLLM su 8× H200, su 8× B200 e, come profilo avanzato, su 4× B200.