2026-10-21
DeepInfer, le moteur avec lequel DeepSeek sert ses propres modèles
DeepSeek publie DeepInfer, le framework d'inférence de sa propre production. Cette version couvre DeepSeek-V4.1-Flash en mode hors ligne, sur GPU NVIDIA SM100 et NPU Huawei Ascend 950.
DeepInfer est le framework d'inférence haute performance avec lequel DeepSeek exécute ses propres services. Le code est sous licence Apache 2.0. Cette première version publique est l'inférence hors ligne, plus les fonctions de base pour travailler à grande échelle. Dans le catalogue SophyAI, c'est un moteur de référence, pas encore lançable.
Quel modèle
Le modèle pris en charge est DeepSeek-V4.1-Flash. L'exemple examples/offline_inference.py télécharge au premier lancement le checkpoint deepseek-ai/DeepSeek-V4.1-Flash-1017. Une copie locale s'indique avec DEEPINFER_HF_MODEL_DIR.
DeepInfer est né surtout de vLLM, avec des idées prises aussi à SGLang et TensorRT-LLM. Les kernels nommés dans le README sont FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect et des kernels TileLang.
Ce qu'il sait faire
- Parallélisme de l'attention en data parallel et en context parallel équilibré, et du MoE en expert parallel avec EPLB.
- DSpark et vérification planifiée selon la confiance.
DEEPINFER_ENABLE_MTP_VARLEN=1l'active ;DEEPINFER_USE_NEXTN_DECODEfixe la longueur maximale du brouillon, 5 par défaut. - Rejeu borné de la fenêtre d'attention glissante, pour réduire le prefill. Les valeurs publiées pour V4.1 sont
DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compactetDEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140. - Ordonnanceur asynchrone, actif par défaut : la préparation du batch sur le CPU se superpose à l'exécution sur le dispositif.
- Inférence invariante au batch et échantillonnage déterministe, sur NVIDIA, avec
DEEPINFER_BATCH_INVARIANT=1. - Sorties contraintes par une regex, un schéma JSON ou une grammaire EBNF.
Sur quel matériel
Les GPU indiqués sont les NVIDIA SM100. Les NPU indiqués sont les Huawei Ascend 950. Il faut Linux, GCC 13 ou plus récent, Python 3.12 et, sur NVIDIA, CUDA 13. La construction part d'un environnement Python vide, avec DEEPINFER_ACCELERATOR=nvidia ou ascend, puis ./build.sh.
Les courbes de performance du dépôt ont été mesurées par DeepSeek sur 4 GPU SM100 pour le prefill et sur 64 pour le decode, chacun dans un seul domaine de scale-up. Les graphiques sont dans le README. SophyAI ne republie pas ces points comme ses propres mesures.
Dans le catalogue
Le profil dsv41-deepinfer-b200-4x associe DeepInfer à 4× B200, la classe SM100 déjà présente dans le catalogue, et au checkpoint 1017. La fourchette de prix de 4× B200 dans le catalogue est 20–28 USD/h. C'est une référence : launch=reference et launchable=false.
Le README liste, comme pièces d'un service complet à ajouter à cette version, un système de cache KV, la désagrégation prefill/decode et l'équilibrage de charge entre les répliques. Le chemin déjà catalogué avec une API OpenAI reste vLLM sur 8× H200, sur 8× B200 et, en profil avancé, sur 4× B200.