2026-10-21
DeepInfer, die Engine, mit der DeepSeek die eigenen Modelle ausführt
DeepSeek veröffentlicht DeepInfer, das Inferenz-Framework der eigenen Produktion. Diese Version deckt DeepSeek-V4.1-Flash offline ab, auf NVIDIA-SM100-GPUs und Huawei-Ascend-950-NPUs.
DeepInfer ist das Hochleistungs-Inferenz-Framework, mit dem DeepSeek die eigenen Dienste ausführt. Der Code steht unter der Apache-Lizenz 2.0. Diese erste öffentliche Version ist Offline-Inferenz, zusammen mit den Grundfunktionen für den Betrieb in großem Maßstab. Im SophyAI-Katalog ist es eine Referenz-Engine und noch nicht startbar.
Welches Modell
Das unterstützte Modell ist DeepSeek-V4.1-Flash. Das Beispiel examples/offline_inference.py lädt beim ersten Start den Checkpoint deepseek-ai/DeepSeek-V4.1-Flash-1017. Eine lokale Kopie wird mit DEEPINFER_HF_MODEL_DIR angegeben.
DeepInfer entstand vor allem auf vLLM, mit Ideen auch aus SGLang und TensorRT-LLM. Die im README genannten Kernel sind FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect und TileLang-Kernel.
Was es kann
- Aufmerksamkeit in Data Parallel und ausgewogenem Context Parallel, und MoE in Expert Parallel mit EPLB.
- DSpark und nach Konfidenz geplante Verifikation.
DEEPINFER_ENABLE_MTP_VARLEN=1schaltet sie ein;DEEPINFER_USE_NEXTN_DECODEsetzt die maximale Entwurfslänge, standardmäßig 5. - Begrenztes Replay des gleitenden Aufmerksamkeitsfensters, um Prefill-Arbeit zu verringern. Die veröffentlichten V4.1-Werte sind
DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compactundDEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140. - Ein asynchroner Scheduler, standardmäßig an: die Batch-Vorbereitung auf der CPU überlappt die Ausführung auf dem Gerät.
- Batch-invariante Inferenz und deterministisches Sampling, auf NVIDIA, mit
DEEPINFER_BATCH_INVARIANT=1. - Ausgaben, die an einen regulären Ausdruck, ein JSON-Schema oder eine EBNF-Grammatik gebunden sind.
Auf welcher Hardware
Die genannten GPUs sind NVIDIA SM100. Die genannten NPUs sind Huawei Ascend 950. Nötig sind Linux, GCC 13 oder neuer, Python 3.12 und, auf NVIDIA, CUDA 13. Der Build startet in einer leeren Python-Umgebung, mit DEEPINFER_ACCELERATOR=nvidia oder ascend, dann ./build.sh.
Die Leistungskurven im Repository hat DeepSeek auf 4 SM100-GPUs für Prefill und auf 64 für Decode gemessen, jeweils innerhalb einer Scale-up-Domäne. Die Diagramme stehen im README. SophyAI veröffentlicht diese Punkte nicht als eigene Messungen.
Im Katalog
Das Profil dsv41-deepinfer-b200-4x verbindet DeepInfer mit 4× B200, der SM100-Klasse, die schon im Katalog steht, und mit dem Checkpoint 1017. Die Katalogspanne für 4× B200 ist 20–28 USD/h. Es ist eine Referenz: launch=reference und launchable=false.
Das README nennt als Teile eines vollständigen Dienstes, die zu dieser Version hinzukommen, ein KV-Cache-System, die Trennung von Prefill und Decode und den Lastausgleich zwischen Replikaten. Der bereits katalogisierte Weg mit OpenAI-API bleibt vLLM auf 8× H200, auf 8× B200 und, als erweitertes Profil, auf 4× B200.