2026-10-16
Kolibri-1: el modelo alemán de 78B que cabe en una GPU
Aleph Alpha publica un MoE open-weight para alemán e inglés, con 3,46 mil millones de parámetros activos. Esta es la arquitectura y el hardware mínimo, desde una H200 hasta dos H100.
Kolibri-1 es el modelo open-weight de Aleph Alpha para asistentes en alemán e inglés. Se publicó el 3 de octubre de 2026 con licencia Apache 2.0 y se incorpora al catálogo de SophyAI con tres perfiles de referencia.
Arquitectura
Es un Mixture of Experts de 78,1 mil millones de parámetros, de los cuales 3,46 mil millones están activos por token. Tiene 50 capas y 384 expertos por capa: el router usa 6, más un experto compartido. La atención alterna ventanas locales y atención global en una proporción de 4 a 1. El tokenizador sigue la estructura de las palabras alemanas.
| Característica | Valor |
|---|---|
| Parámetros totales / activos | 78,1B / 3,46B |
| Idiomas | alemán e inglés |
| Entrada / salida | texto |
| Contexto nativo | 262.144 tokens |
| Contexto validado | hasta 1.048.576 tokens |
| Precisión | FP8, con caché KV FP8 |
| Licencia | Apache 2.0 |
El preentrenamiento usó unos 20 billones de tokens: 62,5 % inglés, 23,9 % alemán y 13,6 % código. El límite de conocimiento es el 18 de junio de 2026. El razonamiento y el uso de herramientas se controlan desde la plantilla: el esfuerzo puede ser bajo, medio, alto o estar apagado.
Aleph Alpha es firmante del Código de buenas prácticas GPAI de la Unión Europea. Eso no hace conforme un despliegue por sí solo: el sistema que incorpora el modelo debe evaluarse según el caso de uso.
Memoria y hardware
La huella declarada es de unos 78 GB. El repositorio de Hugging Face ocupa 78,9 GB. El mínimo publicado es:
- 2× A100 de 80 GB o 2× H100 SXM5;
- 1× H200, 1× B200 o 1× B300.
La configuración recomendada es 2× H100, 2× H200, 1× B200 o 1× B300. Una sola H100 de 80 GB no contiene los pesos.
El servicio recomendado se mantiene dentro de 262.144 tokens. La calidad se validó hasta 1M, pero Aleph Alpha desaconseja ese contexto cuando importan la latencia y las tareas complejas. Ampliarlo exige --max-model-len 1048576 y una anulación de max_position_embeddings.
El runtime no es el vLLM estándar. Hace falta el plugin aleph-alpha-inference, o la imagen ghcr.io/aleph-alpha/aleph-alpha-inference, con el parser kolibri1 para razonamiento y herramientas.
Perfiles de SophyAI
Tres recetas son visibles, pero todavía no ejecutables:
- vLLM FP8 en 1× H200, contexto de servicio de 262k.
- vLLM FP8 en 1× B200, la GPU Blackwell individual recomendada.
- vLLM FP8 en 2× H100, cuando H200 y B200 no están disponibles.
Están marcadas como reference: no publicamos precios ni tok/s de SophyAI, porque Aleph Alpha no aporta una medida absoluta y nosotros no hemos completado una sesión. Existen GGUF de la comunidad, incluido un Q4 de 47 GB, pero no los catalogamos hasta verificar el runtime.