2026-10-21
DeepInfer, el motor con el que DeepSeek sirve sus propios modelos
DeepSeek publica DeepInfer, el framework de inferencia de su propia producción. Esta versión cubre DeepSeek-V4.1-Flash en modo offline, sobre GPU NVIDIA SM100 y NPU Huawei Ascend 950.
DeepInfer es el framework de inferencia de alto rendimiento con el que DeepSeek ejecuta sus propios servicios. El código está bajo licencia Apache 2.0. Esta primera versión pública es inferencia offline, más las piezas de base para trabajar a gran escala. En el catálogo de SophyAI entra como motor de referencia, todavía no arrancable.
Qué modelo
El modelo admitido es DeepSeek-V4.1-Flash. El ejemplo examples/offline_inference.py descarga en el primer arranque el checkpoint deepseek-ai/DeepSeek-V4.1-Flash-1017. Una copia local se indica con DEEPINFER_HF_MODEL_DIR.
DeepInfer nace sobre todo de vLLM, con ideas tomadas también de SGLang y TensorRT-LLM. Los kernels que nombra el README son FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect y kernels TileLang.
Qué sabe hacer
- Paralelismo de la atención en data parallel y context parallel equilibrado, y del MoE en expert parallel con EPLB.
- DSpark y verificación planificada según la confianza.
DEEPINFER_ENABLE_MTP_VARLEN=1la activa;DEEPINFER_USE_NEXTN_DECODEfija la longitud máxima del borrador, 5 por defecto. - Replay limitado de la ventana de atención deslizante, para reducir el prefill. Los valores publicados para V4.1 son
DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compactyDEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140. - Planificador asíncrono, activo por defecto: la preparación del batch en la CPU se solapa con la ejecución en el dispositivo.
- Inferencia invariante al batch y muestreo determinista, en NVIDIA, con
DEEPINFER_BATCH_INVARIANT=1. - Salidas limitadas a una regex, a un esquema JSON o a una gramática EBNF.
En qué hardware
Las GPU indicadas son las NVIDIA SM100. Las NPU indicadas son las Huawei Ascend 950. Hacen falta Linux, GCC 13 o posterior, Python 3.12 y, en NVIDIA, CUDA 13. La compilación parte de un entorno Python vacío, con DEEPINFER_ACCELERATOR=nvidia o ascend, y ./build.sh.
Las curvas de rendimiento del repositorio las midió DeepSeek en 4 GPU SM100 para el prefill y en 64 para el decode, cada una dentro de un solo dominio de scale-up. Los gráficos están en el README. SophyAI no republica esos puntos como medidas propias.
En el catálogo
El perfil dsv41-deepinfer-b200-4x asocia DeepInfer a 4× B200, la clase SM100 que ya está en el catálogo, y al checkpoint 1017. La franja de precio de 4× B200 en el catálogo es 20–28 USD/h. Es una referencia: launch=reference y launchable=false.
El README enumera, como piezas de un servicio completo que se añaden a esta versión, un sistema de KV cache, la desagregación entre prefill y decode, y el equilibrado de carga entre réplicas. El camino ya catalogado con API OpenAI sigue siendo vLLM en 8× H200, en 8× B200 y, como perfil avanzado, en 4× B200.