2026-10-15
Lokale KI-Agenten mit Open-Weights-Modellen
Kimi K3, DeepSeek-V4.1-Flash, MiMo-V2.6 und GLM-5.3 messen sich bei Tool-Nutzung, Automatisierung und Computer-Use mit den geschlossenen Modellen. Lokal arbeitet der Agent an deinen Daten, ohne sie preiszugeben, und du zahlst pro Stunde, nicht pro Token.
Ein Agent beantwortet keine Frage: Er plant, ruft Werkzeuge auf, liest die Ergebnisse und versucht es erneut. Eine einzelne Aufgabe kann Stunden dauern und CRM, Mail, interne Dokumente und Datenbanken berühren. Es ist der Anwendungsfall, bei dem die lokale Ausführung am meisten zählt, denn jeder Tool-Aufruf trägt Unternehmensdaten mit sich.
Die stärksten Modelle bei Agenten
Kimi K3 ist die Referenz für Recherche und Tool-Nutzung. In der Tabelle von Moonshot AI: 91,2 auf BrowseComp (GPT-5.6 Sol 90,4, Claude Fable 5 88,0), 94,5 auf MCPMark-Verified und 84,8 auf OSWorld-Verified. Gebaut für lange Sitzungen mit minimaler Aufsicht, auf Kontexten bis zu einer Million Token. Im Katalog läuft es mit vLLM auf 8× B300 bei etwa 215 tok/s.
DeepSeek-V4.1-Flash ist für input-lastige Agenten-Workloads ausgelegt: nur 8B Parameter im Prefill, und der KV-Cache von 890 Byte pro Token macht lange Kontexte voller Tool-Ausgaben günstig. DeepSeek meldet 54,8 auf AutomationBench (Claude Opus 5.0 50,3) und 31,8 auf Agent's Last Exam, den höchsten Wert der Tabelle. Start mit vLLM auf 8× H200 ab ca. 16,5 $/h oder lokal auf einem 128-GB-Mac mit ds4 Metal.
MiMo-V2.6 von Xiaomi ist omnimodal (Text, Bild, Video, Audio) mit einem einzigen Reinforcement-Learning-Lauf über Coding, Agenten, Vision und Cybersecurity, sodass sich die Fähigkeiten gegenseitig verstärken. Die Flash-RL-Variante erreicht 73,6 auf Toolathlon-Verified und 52,3 auf AutomationBench und läuft auf 4× RTX PRO 6000 bei etwa 3,1 $/h: der günstigste Agenten-Pfad im Katalog.
GLM-5.3 ist stark bei Langzeitaufgaben: 48,2 auf AutomationBench und 73,0 auf Toolathlon-Verified in Z.ais Tabelle, mit Kontext bis 1M Token.
Die Werte sind herstellerangegeben, mit unterschiedlichen Harnesses je Karte: zur Orientierung, nicht als absolute Rangliste.
Warum im Haus behalten
- Daten verlassen das Haus nicht. Der Agent liest und schreibt auf deinen Systemen, aber das Modell antwortet nur über einen Endpunkt auf
127.0.0.1. Nichts geht an eine Drittanbieter-API. - Kosten pro Stunde, nicht pro Token. Ein stundenlang laufender Agent verbrennt Millionen Token. Mit einer dedizierten GPU ist die Rechnung planbar, und die Sitzung endet, wenn du fertig bist.
- MCP-Schlüssel mit Scope und Ablauf. SophyAI vergibt begrenzte MCP-Schlüssel, damit Agenten nur die nötigen Werkzeuge erhalten, so lange wie nötig.
Wie es sich anbindet
SophyAI veröffentlicht einen lokalen OpenAI-kompatiblen Endpunkt: Die Agenten-Frameworks im Katalog zeigen darauf – Agno, LangGraph, CrewAI, smolagents, OpenHands, Letta, n8n – ohne Codeänderung. Rezept wählen, Sitzung starten (lokal oder Cloud) und der Agent spricht mit einem Modell unter deiner Kontrolle.
Für die anderen beiden Szenarien siehe agentisches Coding, lokal betrieben und Cybersecurity mit lokalen Modellen. Die vollständige Modellübersicht steht in Open-Weights-Spitzenmodelle, lokal betrieben.