2026-10-16
Kolibri-1 : le modèle allemand de 78B sur un GPU
Aleph Alpha publie un MoE open-weight pour l'allemand et l'anglais, avec 3,46 milliards de paramètres actifs. Voici l'architecture et le matériel minimal, d'un H200 à deux H100.
Kolibri-1 est le modèle open-weight d'Aleph Alpha pour les assistants en allemand et en anglais. Il est sorti le 3 octobre 2026 sous licence Apache 2.0 et rejoint le catalogue SophyAI avec trois profils de référence.
Architecture
C'est un Mixture of Experts de 78,1 milliards de paramètres, dont 3,46 milliards sont actifs par token. Il compte 50 couches et 384 experts par couche : le routeur en utilise 6, plus un expert partagé. L'attention alterne fenêtres locales et attention globale dans un rapport de 4 pour 1. Le tokenizer suit la structure des mots allemands.
| Caractéristique | Valeur |
|---|---|
| Paramètres totaux / actifs | 78,1B / 3,46B |
| Langues | allemand et anglais |
| Entrée / sortie | texte |
| Contexte natif | 262 144 tokens |
| Contexte validé | jusqu'à 1 048 576 tokens |
| Précision | FP8, avec cache KV FP8 |
| Licence | Apache 2.0 |
Le préentraînement a utilisé environ 20 000 milliards de tokens : 62,5 % d'anglais, 23,9 % d'allemand et 13,6 % de code. La date limite des connaissances est le 18 juin 2026. Le raisonnement et l'appel d'outils se règlent dans le template : l'effort peut être faible, moyen, élevé ou désactivé.
Aleph Alpha est signataire du code de bonnes pratiques GPAI de l'Union européenne. Cela ne rend pas un déploiement conforme à lui seul : le système qui intègre le modèle doit encore être évalué pour son cas d'usage.
Mémoire et matériel
L'empreinte annoncée est d'environ 78 Go. Le dépôt Hugging Face occupe 78,9 Go. Le minimum publié est donc :
- 2× A100 80 Go ou 2× H100 SXM5 ;
- 1× H200, 1× B200 ou 1× B300.
La configuration recommandée est 2× H100, 2× H200, 1× B200 ou 1× B300. Un seul H100 de 80 Go ne contient pas les poids.
Le service recommandé reste dans 262 144 tokens. La qualité a été validée jusqu'à 1M, mais Aleph Alpha déconseille ce contexte lorsque la latence et les tâches complexes comptent. L'extension exige --max-model-len 1048576 et une surcharge de max_position_embeddings.
L'exécution n'utilise pas le vLLM standard. Il faut le plugin aleph-alpha-inference, ou l'image ghcr.io/aleph-alpha/aleph-alpha-inference, avec l'analyseur kolibri1 pour le raisonnement et les outils.
Profils SophyAI
Trois recettes sont visibles, mais pas encore lançables :
- vLLM FP8 sur 1× H200, contexte servi de 262k.
- vLLM FP8 sur 1× B200, le GPU Blackwell unique recommandé.
- vLLM FP8 sur 2× H100, lorsque H200 et B200 ne sont pas disponibles.
Elles sont reference : nous ne publions ni prix ni tok/s SophyAI, car Aleph Alpha ne fournit pas de mesure absolue et nous n'avons pas encore terminé de session. Des GGUF communautaires existent, dont un Q4 de 47 Go, mais nous ne les cataloguons pas tant que l'exécution n'est pas vérifiée.