2026-10-16
Nemotron 3.5 Super VL : 120B multimodal sur un GPU
Le nouveau modèle ouvert de NVIDIA lit texte, images et vidéo avec 12 milliards de paramètres actifs. Voici le matériel réellement nécessaire, d'un H200 à une RTX PRO 6000.
Nemotron 3.5 Super VL est le modèle vision-langage publié par NVIDIA le 15 octobre 2026 pour les agents de coding, la recherche documentaire et la compréhension d'images et de vidéos. Il rejoint le catalogue SophyAI avec trois profils de référence.
Architecture
C'est un Mixture of Experts hybride Mamba-2 et Transformer. Il compte 120 milliards de paramètres et en active 12 milliards par token. Chaque couche MoE contient 512 experts. Un encodeur visuel C-RADIO et un connecteur apportent images, pages et frames au modèle de langage. La sortie est uniquement du texte.
| Caractéristique | Valeur |
|---|---|
| Paramètres totaux / actifs | 120B / 12B |
| Entrée | texte, images, vidéo |
| Sortie | texte |
| Contexte natif | jusqu'à 1 048 576 tokens |
| Décodage spéculatif | Multi-Token Prediction natif |
| Licence | OpenMDW-1.1 |
Le raisonnement est configurable : désactivé, moyen ou activé. Pour le texte, NVIDIA recommande une température de 1,0 et un top_p de 0,95 ; pour la vision, une température de 0,6 et le même top_p. Les vidéos publiées durent jusqu'à 2 minutes. La recette vLLM échantillonne jusqu'à 256 frames à 2 FPS pour le 720p, et 1 FPS avec 128 frames pour le 1080p.
Deux checkpoints, deux empreintes
Le checkpoint NVFP4 occupe 75 Go sur Hugging Face. Vision, connecteur, convolutions Mamba et embeddings restent en BF16 ; le routeur reste en FP32. NVIDIA indique une inférence W4A4 sur Blackwell et W4A16 sur Hopper.
Le checkpoint BF16 occupe 249 Go et sert à la personnalisation et à l'évaluation en pleine précision. Son déploiement publié utilise 4× H100 ou 2× GB200.
Matériel pour l'inférence NVFP4
NVIDIA publie ces configurations vLLM, toutes avec un contexte jusqu'à 1M :
| Matériel | Modalités | MTP |
|---|---|---|
| 1× H200 | texte, images, vidéo | 3 tokens |
| 2× H100 | texte, images, vidéo | 3 tokens |
| 1× GB200 | texte, images, vidéo | 5 tokens |
| 1× DGX Spark | texte et images | 5 tokens |
SGLang couvre texte et images sur 1× GB200 ou 2× H100. TensorRT-LLM est documenté sur 1× GB200 pour 1M tokens. Sur DGX Spark, sa recette descend à 131 072 tokens.
Pour les stations de travail, NVIDIA indique llama.cpp et Unsloth sur DGX Spark, RTX Spark et RTX PRO 6000. Le GGUF NVFP4 Unsloth pèse 77,7 Go en trois shards, plus 1,7 Go de projecteur visuel. Il tient dans 96 Go de VRAM, mais laisse peu de marge : le contexte de 1M ne doit pas être promis sur ce GPU avant mesure. NVIDIA ne publie aucun débit en tokens/s pour ces configurations.
Profils SophyAI
Trois recettes sont visibles, mais pas encore lançables :
- vLLM NVFP4 sur 1× H200, 1M, texte, images et vidéo.
- vLLM NVFP4 sur 2× H100, avec la même couverture.
- llama.cpp NVFP4 sur 1× RTX PRO 6000, avec un plafond prudent de 131 072 tokens.
Elles sont reference : nous ne publions ni prix ni benchmarks SophyAI. Le dépôt n'est pas gated.
Pour un déploiement aujourd'hui, je choisirais un H200 lorsqu'un seul GPU de datacenter suffit. La paire H100 est l'alternative Hopper officielle. La RTX PRO 6000 est le chemin workstation et son contexte doit d'abord être mesuré. Le BF16 reste réservé à la personnalisation et à l'évaluation.