2026-10-16
Meta Muse Spark Open: 816B multimodal, también en local
El nuevo MoE open-weight de Meta entiende texto, imágenes, audio y vídeo. Analizamos su arquitectura y el hardware que realmente necesita, desde un Mac de 512 GB hasta cuatro GPU Blackwell.
Muse Spark Open es el nuevo modelo frontier open-weight de Meta para programación agéntica y razonamiento multimodal. Acepta texto, imágenes, audio y vídeo, utiliza herramientas y genera texto. Se incorpora al catálogo de SophyAI con dos perfiles de hardware de referencia.
Qué contiene
Es un Mixture of Experts con unos 816 mil millones de parámetros, aunque activa alrededor de 42 mil millones por token. Cada una de sus 62 capas contiene 256 expertos y el router selecciona 8. El cálculo por token es, por tanto, muy inferior al tamaño total, pero todos los expertos deben permanecer en memoria.
| Característica | Valor |
|---|---|
| Parámetros totales / activos | ~816B / ~42B |
| Expertos | 256 por capa, 8 activos |
| Entrada | texto, imágenes, audio, vídeo |
| Salida | texto |
| Contexto nativo | hasta 1.048.576 tokens |
| Checkpoints | BF16 y NVFP4 |
Las imágenes y los fotogramas de vídeo pasan por un encoder perceptivo de 1,8B parámetros. El audio se convierte en 12,5 tokens por segundo. El modelo está entrenado para flujos agénticos largos: leer repositorios, modificar varios archivos, ejecutar herramientas, observar resultados y autocorregirse.
La memoria es el verdadero límite
El checkpoint BF16 ocupa alrededor de 1,5 TB. Meta y Hugging Face documentan inferencia con Transformers en 4 nodos de 8 H200, es decir, 32 GPU. Un contexto de 1M crea otra limitación: la caché KV BF16 requiere unos 250 KB por token y puede llegar aproximadamente a 266 GB.
NVFP4 reduce mucho la huella, pero requiere NVIDIA Blackwell. La configuración de referencia para vLLM usa 4 GPU Blackwell, tensor parallel 4 y expert parallel, con un contexto servido de 131.072 tokens. Admite texto e imágenes.
Para todas las modalidades, SGLang está documentado en 4×GB300. Hugging Face también ofrece perfiles prevalidado con 8×RTX PRO 6000 para 128k o 8×H200 para el contexto completo de 1M.
¿Puede ejecutarse realmente en local?
Sí, aunque «local» significa aquí un Mac extraordinariamente grande. El GGUF Q2_K ocupa unos 304 GB en 22 shards. Hugging Face indica:
- un Mac Studio M3 Ultra con 512 GB de memoria unificada;
- unos 304 GB utilizados por el modelo;
- aproximadamente 18 tokens/s con llama.cpp;
- entrada de texto, imágenes y audio.
La cuantización MLX oQ3e usa unos 344 GB y alcanza cerca de 21 tokens/s de generación en el mismo Mac. Un Mac de 256 GB no es suficiente. Incluso con 512 GB, el contexto debe limitarse porque los pesos y la caché KV comparten la misma memoria.
Perfiles del catálogo SophyAI
Hemos añadido dos recetas visibles, pero todavía no ejecutables:
- vLLM NVFP4 en 4×B200/B300, 128k, texto e imágenes.
- llama.cpp Q2_K en un Mac M3 Ultra de 512 GB, texto, imágenes y audio.
Están marcadas como reference: no publicamos precios ni benchmarks de SophyAI hasta completar una sesión end-to-end. Los repositorios oficiales de Meta están restringidos y la licencia de los pesos figura como other, por lo que deben revisarse sus términos antes del uso comercial.
Configuraciones recomendadas
Para un despliegue empresarial hoy elegiría:
- 4×B200/B300 + vLLM para programación agéntica con texto e imágenes;
- 8×H200 + SGLang cuando el contexto de 1M sea imprescindible;
- M3 Ultra de 512 GB + llama.cpp para uso local privado sin nube, aceptando cuantización Q2;
- BF16 en 32×H200 solo para investigación, fine-tuning o cuando la calidad del checkpoint completo justifique la infraestructura.
El siguiente paso es probar la receta NVFP4 en un nodo Blackwell, medir descarga, arranque, memoria, rendimiento y tool calling, y solo después habilitar el lanzamiento desde la plataforma.