2026-10-16
Nemotron 3.5 Super VL: 120B multimodal auf einer GPU
NVIDIAs neues offenes Modell verarbeitet Text, Bilder und Video mit 12 Milliarden aktiven Parametern. Wir zeigen die tatsächlich nötige Hardware, von einer H200 bis zur RTX PRO 6000.
Nemotron 3.5 Super VL ist das Vision-Language-Modell, das NVIDIA am 15. Oktober 2026 für Coding-Agenten, Dokumentrecherche sowie Bild- und Videoverständnis veröffentlicht hat. Es kommt mit drei Referenzprofilen in den SophyAI-Katalog.
Architektur
Es ist ein hybrides Mamba-2- und Transformer-Mixture-of-Experts. Es hat 120 Milliarden Parameter und aktiviert 12 Milliarden pro Token. Jede MoE-Schicht enthält 512 Experten. Ein C-RADIO-Vision-Encoder und ein Connector bringen Bilder, Seiten und Frames in das Sprachmodell. Die Ausgabe ist nur Text.
| Merkmal | Wert |
|---|---|
| Parameter gesamt / aktiv | 120B / 12B |
| Eingabe | Text, Bilder, Video |
| Ausgabe | Text |
| Nativer Kontext | bis 1.048.576 Token |
| Speculative Decoding | natives Multi-Token Prediction |
| Lizenz | OpenMDW-1.1 |
Das Reasoning ist konfigurierbar: aus, mittel oder an. Für Text empfiehlt NVIDIA Temperatur 1,0 und top_p 0,95; für Vision Temperatur 0,6 und denselben top_p. Veröffentlichte Videos sind bis zu 2 Minuten lang. Die vLLM-Recipe nutzt bis zu 256 Frames bei 2 FPS für 720p und 1 FPS mit 128 Frames für 1080p.
Zwei Checkpoints, zwei Größen
Der NVFP4-Checkpoint belegt 75 GB auf Hugging Face. Vision, Connector, Mamba-Faltungen und Embeddings bleiben BF16; der Router bleibt FP32. NVIDIA nennt W4A4-Inferenz auf Blackwell und W4A16 auf Hopper.
Der BF16-Checkpoint belegt 249 GB und dient der Anpassung und der Auswertung in voller Präzision. Die veröffentlichte Ausführung nutzt 4× H100 oder 2× GB200.
Hardware für NVFP4-Inferenz
NVIDIA veröffentlicht diese vLLM-Konfigurationen, alle mit bis zu 1M Kontext:
| Hardware | Modalitäten | MTP |
|---|---|---|
| 1× H200 | Text, Bilder, Video | 3 Token |
| 2× H100 | Text, Bilder, Video | 3 Token |
| 1× GB200 | Text, Bilder, Video | 5 Token |
| 1× DGX Spark | Text und Bilder | 5 Token |
SGLang deckt Text und Bilder auf 1× GB200 oder 2× H100 ab. TensorRT-LLM ist auf 1× GB200 für 1M Token dokumentiert. Auf DGX Spark sinkt diese Recipe auf 131.072 Token.
Für Workstations nennt NVIDIA llama.cpp und Unsloth auf DGX Spark, RTX Spark und RTX PRO 6000. Das Unsloth-NVFP4-GGUF wiegt 77,7 GB in drei Shards, plus 1,7 GB Vision-Projektor. Es passt in 96 GB VRAM, lässt aber wenig Reserve: 1M Kontext darf auf dieser GPU nicht versprochen werden, bevor er gemessen ist. NVIDIA veröffentlicht für keine dieser Konfigurationen Token/s.
SophyAI-Profile
Drei Recipes sind sichtbar, aber noch nicht startbar:
- vLLM NVFP4 auf 1× H200, 1M, Text, Bilder und Video.
- vLLM NVFP4 auf 2× H100, mit derselben Abdeckung.
- llama.cpp NVFP4 auf 1× RTX PRO 6000, mit vorsichtiger Grenze von 131.072 Token.
Sie sind reference: SophyAI veröffentlicht weder Preise noch Benchmarks. Das Repository ist nicht gated.
Für einen Einsatz heute würde ich eine H200 wählen, wenn eine einzelne Rechenzentrums-GPU nötig ist. Das H100-Paar ist die offizielle Hopper-Alternative. RTX PRO 6000 ist der Workstation-Pfad und der Kontext muss zuerst gemessen werden. BF16 bleibt Anpassung und Auswertung vorbehalten.