2026-10-15
Agenti AI in locale con i modelli open-weights
Kimi K3, DeepSeek-V4.1-Flash, MiMo-V2.6 e GLM-5.3 competono con i modelli chiusi su tool use, automazione e uso del computer. In locale l'agente lavora sui tuoi dati senza farli uscire e paghi l'ora, non il token.
Un agente non risponde a una domanda: pianifica, chiama strumenti, legge i risultati e riprova. Un singolo task può durare ore e attraversare CRM, posta, documenti interni e database. È il caso d'uso in cui l'esecuzione locale conta di più, perché ogni chiamata a uno strumento porta con sé dati aziendali.
I modelli più forti sugli agenti
Kimi K3 è il riferimento per la ricerca e l'uso degli strumenti. Nella tabella di Moonshot AI fa 91,2 su BrowseComp (GPT-5.6 Sol 90,4, Claude Fable 5 88,0), 94,5 su MCPMark-Verified e 84,8 su OSWorld-Verified. È pensato per sessioni lunghe con supervisione minima, su contesti fino a un milione di token. In catalogo gira con vLLM su 8× B300 a circa 215 tok/s.
DeepSeek-V4.1-Flash è progettato per carichi agentici con molto input: attiva solo 8B parametri in prefill, e la KV cache da 890 byte per token rende economici i contesti lunghi pieni di output degli strumenti. DeepSeek riporta 54,8 su AutomationBench (Claude Opus 5.0 50,3) e 31,8 su Agent's Last Exam, il valore più alto della sua tabella. Lo avvii con vLLM su 8× H200 da circa 16,5 $/h, oppure in locale su un Mac da 128 GB con ds4 Metal.
MiMo-V2.6 di Xiaomi nasce omnimodale (testo, immagini, video, audio) con una sola fase di reinforcement learning che mescola coding, agenti, visione e cybersecurity, così le abilità si rinforzano a vicenda. La variante Flash-RL fa 73,6 su Toolathlon-Verified e 52,3 su AutomationBench, e gira su 4× RTX PRO 6000 a circa 3,1 $/h: il path agentico più economico del catalogo.
GLM-5.3 è forte sui task a lungo orizzonte: 48,2 su AutomationBench e 73,0 su Toolathlon-Verified nella tabella Z.ai, con contesto fino a 1M di token.
I punteggi sono dichiarati dai produttori, con harness diversi da una card all'altra: servono a orientarsi, non a stilare una classifica assoluta.
Perché tenerli in casa
- I dati non escono. L'agente legge e scrive sui tuoi sistemi, ma il modello risponde su un endpoint esposto solo su
127.0.0.1. Niente va a un'API di terzi. - Il costo è l'ora, non il token. Un agente che gira per ore brucia milioni di token. Con una GPU dedicata il conto è prevedibile e la sessione si spegne quando hai finito.
- MCP con scope e scadenza. SophyAI rilascia chiavi MCP limitate per dare agli agenti solo gli strumenti che servono, per il tempo che serve.
Come si collega
SophyAI pubblica un endpoint OpenAI-compatibile in locale: ci puntano i framework agentici del catalogo — Agno, LangGraph, CrewAI, smolagents, OpenHands, Letta, n8n — senza cambiare codice. Scegli la ricetta, avvii la sessione (locale o cloud) e l'agente parla con un modello che gira sotto il tuo controllo.
Per gli altri due scenari vedi coding agentico in locale e cybersecurity con modelli locali. La panoramica completa dei modelli è in I modelli di frontiera open-weights, in locale.