I modelli di frontiera open-weights, in locale

Nell'autunno 2026 la distanza tra modelli chiusi e modelli open-weights si è quasi azzerata. Sui benchmark più duri di coding, agenti e sicurezza (Terminal-Bench, DeepSWE, CyberGym) i modelli che si scaricano da Hugging Face stanno a pochi punti da GPT-5.6 Sol, Claude Opus e Claude Fable 5, e su alcune prove li superano.

Per un'azienda la domanda cambia: non più quale API usare, ma dove far girare il modello. Con SophyAI la risposta è sul tuo Mac, oppure su una GPU cloud che accendi tu e che risponde su un endpoint esposto solo in locale. Prompt, codice e documenti non passano da un'API di terzi.

I modelli di frontiera in catalogo

Parametri, contesto e licenze vengono dalle model card su Hugging Face (ottobre 2026). Velocità e costi orari sono quelli del catalogo SophyAI: misurati da noi su Vast.ai dove indicato, altrimenti prezzo dell'offerta di riferimento. L'app mostra sempre il prezzo reale prima dell'avvio.

Cosa dicono le model card

• Kimi K3 di Moonshot AI è il primo modello open da 3T di classe: 896 esperti, 16 attivi per token, visione nativa e un milione di token di contesto. Sui benchmark agentici è in testa: 91,2 su BrowseComp e 94,5 su MCPMark-Verified, davanti a GPT-5.6 Sol nella tabella del produttore.
• GLM-5.3 di Z.ai è dichiarato il modello open-weights più forte nel coding, con un +50% sul proprio Code Bench rispetto a GLM-5.2. Su CyberGym, che misura la scoperta di vulnerabilità, fa 84,5: il punteggio più alto nella tabella Z.ai.
• GLM-5.3-Flash è il primo GLM nativamente multimodale: 18B attivi, attenzione ibrida sparsa e lineare, licenza MIT. Z.ai lo descrive vicino a Claude Opus 4.8 su coding e agenti, a un decimo del costo di GLM-5.2.
• DeepSeek-V4.1-Flash introduce un'architettura encoder-decoder causale: attiva 8B parametri in prefill e 16B in decode, con una KV cache da 890 byte per token, circa un quarto di V4-Flash. Nella tabella DeepSeek fa 74,2 su DeepSWE v1.1 e 90,6 su Terminal-Bench 2.1.
• MiMo-V2.6 di Xiaomi è omnimodale (testo, immagini, video, audio) e addestrato con un'unica fase di reinforcement learning che mescola coding, agenti, visione e cybersecurity. La versione Flash fa 95,1 su CyberGym.
• Hy4-preview di Tencent è un MoE da 770B con 49B attivi, licenza Apache 2.0. In un confronto alla cieca su 203 task di ingegneria, valutato da 163 esperti interni, risulta leggermente avanti sia a GLM-5.3 sia a Kimi K3.
• Qwen3.8-Flash-Next è l'anteprima dell'architettura di Qwen4: solo 6B parametri attivi, ma 62,5 su SWE-bench Pro e 81,0 su SWE-bench Multilingual. Gira su una sola GPU.

I punteggi sono dichiarati dai produttori, con harness e impostazioni diversi da una card all'altra: servono a orientarsi, non a stilare una classifica assoluta.

Perché eseguirli in locale

• Riservatezza: codice sorgente, log di sicurezza, contratti e dati dei clienti restano su macchine che controlli tu. L'endpoint di SophyAI ascolta su 127.0.0.1.
• Costo prevedibile: un agente che lavora per ore consuma milioni di token. Con una GPU dedicata paghi l'ora, non il token, e spegni la sessione quando hai finito.
• Niente filtri imposti da terzi: per un red team o un SOC, un'API che rifiuta un'analisi di exploit legittima è un blocco operativo. In locale la policy d'uso la decidi tu.
• Riproducibilità: i pesi non cambiano sotto i piedi. La versione che hai validato è quella che gira.

Approfondimenti

Abbiamo scritto tre articoli sugli usi in cui questi modelli rendono di più:

• Agenti AI in locale con i modelli open-weights
• Coding agentico in locale
• Cybersecurity con modelli locali

← Tutti gli articoli