Open-Weights-Spitzenmodelle, lokal betrieben

Im Herbst 2026 ist der Abstand zwischen geschlossenen und Open-Weights-Modellen fast verschwunden. Bei den härtesten Coding-, Agenten- und Security-Benchmarks (Terminal-Bench, DeepSWE, CyberGym) liegen die Modelle, die man von Hugging Face lädt, nur wenige Punkte hinter GPT-5.6 Sol, Claude Opus und Claude Fable 5 – und schlagen sie bei einigen.

Für ein Unternehmen ändert sich die Frage: nicht mehr welche API, sondern wo das Modell läuft. Mit SophyAI lautet die Antwort: auf deinem Mac oder auf einer Cloud-GPU, die du selbst startest und die nur über einen lokal exponierten Endpunkt antwortet. Prompts, Code und Dokumente laufen nie über eine Drittanbieter-API.

Die Spitzenmodelle im Katalog

Parameter, Kontext und Lizenzen stammen aus den Hugging-Face-Modellkarten (Oktober 2026). Geschwindigkeit und Stundenkosten kommen aus dem SophyAI-Katalog: von uns auf Vast.ai gemessen, wo angegeben, sonst der Preis des Referenzangebots. Die App zeigt vor jedem Start den echten Preis.

Was die Modellkarten sagen

• Kimi K3 von Moonshot AI ist das erste offene Modell der 3T-Klasse: 896 Experten, 16 aktiv pro Token, native Vision und ein Kontext von einer Million Token. Bei Agenten-Benchmarks führt es: 91,2 auf BrowseComp und 94,5 auf MCPMark-Verified, vor GPT-5.6 Sol in der Herstellertabelle.
• GLM-5.3 von Z.ai gilt als das stärkste Open-Weights-Modell beim Coding, mit +50 % gegenüber GLM-5.2 auf der eigenen Code Bench. Auf CyberGym (Schwachstellensuche) erreicht es 84,5.
• GLM-5.3-Flash ist das erste nativ multimodale GLM: 18B aktiv, hybride spärliche und lineare Attention, MIT-Lizenz. Z.ai beschreibt es als nahe an Claude Opus 4.8 bei Coding und Agenten, zu einem Zehntel der Kosten von GLM-5.2.
• DeepSeek-V4.1-Flash bringt eine kausale Encoder-Decoder-Architektur: 8B Parameter im Prefill, 16B im Decode, KV-Cache von 890 Byte pro Token, rund ein Viertel von V4-Flash. In DeepSeeks Tabelle: 74,2 auf DeepSWE v1.1 und 90,6 auf Terminal-Bench 2.1.
• MiMo-V2.6 von Xiaomi ist omnimodal (Text, Bild, Video, Audio) und mit einem einzigen Reinforcement-Learning-Lauf trainiert, der Coding, Agenten, Vision und Cybersecurity mischt. Die Flash-Version erreicht 95,1 auf CyberGym.
• Hy4-preview von Tencent ist ein 770B-MoE mit 49B aktiv, Apache 2.0. In einem Blindvergleich über 203 Engineering-Aufgaben, bewertet von 163 internen Experten, liegt es knapp vor GLM-5.3 und Kimi K3.
• Qwen3.8-Flash-Next ist die Vorschau der Qwen4-Architektur: nur 6B aktive Parameter, aber 62,5 auf SWE-bench Pro und 81,0 auf SWE-bench Multilingual. Läuft auf einer einzigen GPU.

Die Werte sind herstellerangegeben, mit unterschiedlichen Harnesses und Einstellungen je Karte: zur Orientierung, nicht als absolute Rangliste.

Warum lokal betreiben

• Vertraulichkeit: Quellcode, Security-Logs, Verträge und Kundendaten bleiben auf Maschinen, die du kontrollierst. Der SophyAI-Endpunkt lauscht auf 127.0.0.1.
• Planbare Kosten: Ein Agent, der stundenlang arbeitet, verbraucht Millionen Token. Mit einer dedizierten GPU zahlst du pro Stunde, nicht pro Token, und beendest die Sitzung, wenn du fertig bist.
• Keine Filter von Dritten: Für ein Red Team oder ein SOC ist eine API, die eine legitime Exploit-Analyse verweigert, ein Betriebshindernis. Lokal bestimmst du die Nutzungsrichtlinie.
• Reproduzierbarkeit: Die Gewichte ändern sich nicht unter dir. Die validierte Version ist die, die läuft.

Mehr dazu

Wir haben drei Artikel über die Einsätze geschrieben, bei denen diese Modelle am meisten bringen:

• Lokale KI-Agenten mit Open-Weights-Modellen
• Agentisches Coding, lokal betrieben
• Cybersecurity mit lokalen Modellen

← Alle Beiträge