2026-10-16
Kolibri-1: das deutsche 78B-Modell auf einer GPU
Aleph Alpha veröffentlicht ein Open-Weight-MoE für Deutsch und Englisch mit 3,46 Milliarden aktiven Parametern. Wir zeigen Architektur und minimale Hardware, von einer H200 bis zu zwei H100.
Kolibri-1 ist das Open-Weight-Modell von Aleph Alpha für Assistenten auf Deutsch und Englisch. Es erschien am 3. Oktober 2026 unter der Apache-2.0-Lizenz und kommt mit drei Referenzprofilen in den SophyAI-Katalog.
Architektur
Es ist ein Mixture of Experts mit 78,1 Milliarden Parametern, von denen 3,46 Milliarden pro Token aktiv sind. Es hat 50 Schichten und 384 Experten pro Schicht: Der Router nutzt 6, plus einen gemeinsamen Experten. Die Attention wechselt im Verhältnis 4 zu 1 zwischen lokalen Fenstern und globaler Attention. Der Tokenizer folgt der deutschen Wortstruktur.
| Merkmal | Wert |
|---|---|
| Parameter gesamt / aktiv | 78,1B / 3,46B |
| Sprachen | Deutsch und Englisch |
| Eingabe / Ausgabe | Text |
| Nativer Kontext | 262.144 Token |
| Validierter Kontext | bis 1.048.576 Token |
| Präzision | FP8, mit FP8-KV-Cache |
| Lizenz | Apache 2.0 |
Das Pretraining nutzte etwa 20 Billionen Token: 62,5 % Englisch, 23,9 % Deutsch und 13,6 % Code. Der Knowledge-Cutoff ist der 18. Juni 2026. Reasoning und Tool Calling steuert das Template: Der Aufwand kann niedrig, mittel, hoch oder aus sein.
Aleph Alpha ist Unterzeichner des EU-GPAI-Verhaltenskodex. Das macht ein Deployment nicht automatisch konform: Das System, das das Modell einbettet, muss weiterhin für den Anwendungsfall bewertet werden.
Speicher und Hardware
Die angegebene Größe liegt bei etwa 78 GB. Das Hugging-Face-Repository belegt 78,9 GB. Das veröffentlichte Minimum ist deshalb:
- 2× A100 80 GB oder 2× H100 SXM5;
- 1× H200, 1× B200 oder 1× B300.
Empfohlen sind 2× H100, 2× H200, 1× B200 oder 1× B300. Eine einzelne H100 mit 80 GB fasst die Gewichte nicht.
Der empfohlene Betrieb bleibt innerhalb von 262.144 Token. Die Qualität wurde bis 1M validiert, aber Aleph Alpha rät von diesem Kontext ab, wenn Latenz und komplexe Aufgaben zählen. Für die Erweiterung braucht es --max-model-len 1048576 und ein Override von max_position_embeddings.
Die Laufzeit ist nicht das Standard-vLLM. Nötig sind das Plugin aleph-alpha-inference oder das Image ghcr.io/aleph-alpha/aleph-alpha-inference, mit dem Parser kolibri1 für Reasoning und Tool Calling.
SophyAI-Profile
Drei Recipes sind sichtbar, aber noch nicht startbar:
- vLLM FP8 auf 1× H200, Dienstkontext 262k.
- vLLM FP8 auf 1× B200, die empfohlene einzelne Blackwell-GPU.
- vLLM FP8 auf 2× H100, wenn H200 und B200 nicht verfügbar sind.
Sie sind reference: Wir veröffentlichen weder Preise noch SophyAI-Token/s, weil Aleph Alpha keine absolute Messung liefert und wir noch keine Sitzung abgeschlossen haben. Community-GGUFs gibt es, darunter ein Q4 mit 47 GB, aber wir katalogisieren sie erst nach Prüfung der Laufzeit.