2026-10-16
Nemotron 3.5 Super VL: 120B multimodali su una GPU
Il nuovo modello open di NVIDIA legge testo, immagini e video con 12 miliardi di parametri attivi. Vediamo quale hardware serve davvero, da una H200 a una RTX PRO 6000.
Nemotron 3.5 Super VL è il modello vision-language che NVIDIA ha pubblicato il 15 ottobre 2026 per agenti di coding, ricerca documentale e comprensione di immagini e video. Entra nel catalogo SophyAI con tre profili di riferimento.
Architettura
È un Mixture of Experts ibrido Mamba-2 e Transformer. Ha 120 miliardi di parametri e ne attiva 12 miliardi per token. Ogni layer MoE contiene 512 esperti. Un encoder visivo C-RADIO e un connettore portano immagini, pagine e frame nel backbone linguistico. L'uscita è solo testo.
| Caratteristica | Valore |
|---|---|
| Parametri totali / attivi | 120B / 12B |
| Input | testo, immagini, video |
| Output | testo |
| Contesto nativo | fino a 1.048.576 token |
| Speculative decoding | Multi-Token Prediction nativo |
| Licenza | OpenMDW-1.1 |
Il reasoning è configurabile: spento, medio oppure acceso. Per il testo NVIDIA consiglia temperatura 1,0 e top_p 0,95; per la visione, temperatura 0,6 e lo stesso top_p. I video pubblicati arrivano a 2 minuti. La ricetta vLLM campiona fino a 256 frame a 2 FPS per il 720p e indica 1 FPS con 128 frame per il 1080p.
Due checkpoint, due impronte
Il checkpoint NVFP4 occupa 75 GB su Hugging Face. Visione, connettore, convoluzioni Mamba ed embedding restano in BF16; il router resta in FP32. NVIDIA indica inferenza W4A4 su Blackwell e W4A16 su Hopper.
Il checkpoint BF16 occupa 249 GB ed è il riferimento per personalizzazione e valutazione a piena precisione. La sua esecuzione pubblicata usa 4× H100 oppure 2× GB200.
Hardware per l'inferenza NVFP4
NVIDIA pubblica queste configurazioni vLLM, tutte con contesto fino a 1M:
| Hardware | Modalità | MTP |
|---|---|---|
| 1× H200 | testo, immagini, video | 3 token |
| 2× H100 | testo, immagini, video | 3 token |
| 1× GB200 | testo, immagini, video | 5 token |
| 1× DGX Spark | testo e immagini | 5 token |
SGLang copre testo e immagini su 1× GB200 o 2× H100. TensorRT-LLM è documentato su 1× GB200 per 1M token. Su DGX Spark la ricetta TensorRT-LLM scende a 131.072 token.
Per la workstation, NVIDIA indica llama.cpp e Unsloth su DGX Spark, RTX Spark e RTX PRO 6000. Il GGUF NVFP4 Unsloth pesa 77,7 GB in tre shard, più 1,7 GB di proiettore visivo. Entra in 96 GB di VRAM, ma lascia poco margine: il contesto da 1M non va promesso su questa scheda finché non lo misuriamo. NVIDIA non pubblica tok/s per nessuna di queste configurazioni.
Profili SophyAI
Tre recipe sono visibili e non ancora avviabili:
- vLLM NVFP4 su 1× H200, 1M, testo, immagini e video.
- vLLM NVFP4 su 2× H100, stessa copertura.
- llama.cpp NVFP4 su 1× RTX PRO 6000, con tetto prudenziale di 131.072 token.
Sono reference: non pubblichiamo prezzi né benchmark SophyAI. Il repository non è gated.
Per un deployment oggi sceglierei una H200 quando serve una sola GPU datacenter. La coppia H100 è l'alternativa Hopper ufficiale. RTX PRO 6000 è il percorso workstation, da misurare prima di alzare il contesto. Il BF16 resta riservato a personalizzazione e valutazione.