2026-10-16
Meta Muse Spark Open : 816B multimodal, même en local
Le nouveau MoE open-weight de Meta comprend texte, images, audio et vidéo. Nous analysons son architecture et le matériel réellement nécessaire, du Mac 512 Go à quatre GPU Blackwell.
Muse Spark Open est le nouveau modèle frontier open-weight de Meta pour le coding agentique et le raisonnement multimodal. Il accepte texte, images, audio et vidéo, utilise des outils et produit du texte. Il rejoint le catalogue SophyAI avec deux profils matériels de référence.
Son architecture
Il s'agit d'un Mixture of Experts d'environ 816 milliards de paramètres, dont près de 42 milliards sont activés par token. Chacune de ses 62 couches contient 256 experts et le routeur en sélectionne 8. Le calcul par token reste donc bien inférieur à la taille totale, mais tous les experts doivent malgré tout résider en mémoire.
| Caractéristique | Valeur |
|---|---|
| Paramètres totaux / actifs | ~816B / ~42B |
| Experts | 256 par couche, 8 actifs |
| Entrée | texte, images, audio, vidéo |
| Sortie | texte |
| Contexte natif | jusqu'à 1 048 576 tokens |
| Checkpoints | BF16 et NVFP4 |
Les images et les frames vidéo passent par un encodeur perceptif de 1,8B paramètres. L'audio devient 12,5 tokens par seconde. Le modèle est entraîné pour de longs workflows agentiques : lire des dépôts, modifier plusieurs fichiers, appeler des outils, observer les résultats et se corriger.
La mémoire est la vraie contrainte
Le checkpoint BF16 occupe environ 1,5 To. Meta et Hugging Face documentent l'inférence Transformers sur 4 nœuds de 8 H200, soit 32 GPU. Un contexte de 1M ajoute une autre contrainte : le cache KV BF16 représente environ 250 Ko par token et peut atteindre près de 266 Go.
NVFP4 réduit fortement l'empreinte, mais exige NVIDIA Blackwell. La configuration vLLM de référence utilise 4 GPU Blackwell, tensor parallel 4 et expert parallel, avec un contexte servi de 131 072 tokens. Elle prend en charge le texte et les images.
Pour toutes les modalités, SGLang est documenté sur 4×GB300. Hugging Face propose aussi des profils prévalidés avec 8×RTX PRO 6000 pour 128k ou 8×H200 pour le contexte complet de 1M.
Peut-il vraiment fonctionner en local ?
Oui, même si « local » désigne ici un Mac exceptionnellement doté. Le GGUF Q2_K pèse environ 304 Go en 22 shards. Hugging Face indique :
- un Mac Studio M3 Ultra avec 512 Go de mémoire unifiée ;
- environ 304 Go occupés par le modèle ;
- près de 18 tokens/s avec llama.cpp ;
- des entrées texte, image et audio.
La quantification MLX oQ3e utilise environ 344 Go et atteint près de 21 tokens/s en génération sur le même Mac. Une machine de 256 Go ne suffit pas. Même avec 512 Go, le contexte doit être limité, car poids et cache KV partagent la même mémoire.
Les profils du catalogue SophyAI
Nous avons ajouté deux recettes visibles, mais pas encore lançables :
- vLLM NVFP4 sur 4×B200/B300, 128k, texte et images.
- llama.cpp Q2_K sur Mac M3 Ultra 512 Go, texte, images et audio.
Elles portent le statut reference : nous ne publions ni prix ni benchmarks SophyAI avant d'avoir terminé une session de bout en bout. Les dépôts officiels Meta sont gated et la licence des poids est étiquetée other ; ses conditions doivent être examinées avant tout usage commercial.
Configurations recommandées
Pour un déploiement en entreprise aujourd'hui, je choisirais :
- 4×B200/B300 + vLLM pour le coding agentique avec texte et images ;
- 8×H200 + SGLang lorsque le contexte de 1M est indispensable ;
- M3 Ultra 512 Go + llama.cpp pour un usage local privé sans cloud, en acceptant la quantification Q2 ;
- BF16 sur 32×H200 uniquement pour la recherche, le fine-tuning ou lorsque la qualité du checkpoint complet justifie l'infrastructure.
La prochaine étape consiste à tester la recette NVFP4 sur un nœud Blackwell, mesurer téléchargement, démarrage, mémoire, débit et tool calling, puis seulement activer son lancement depuis la plateforme.