2026-10-16
Meta Muse Spark Open: 816B multimodal, auch lokal
Metas neues Open-Weight-MoE verarbeitet Text, Bilder, Audio und Video. Wir analysieren Architektur und Hardwarebedarf, vom 512-GB-Mac bis zu vier Blackwell-GPUs.
Muse Spark Open ist Metas neues Frontier-Open-Weight-Modell für agentisches Coding und multimodales Reasoning. Es verarbeitet Text, Bilder, Audio und Video, nutzt Tools und erzeugt Text. Es kommt mit zwei Referenzprofilen in den SophyAI-Katalog.
Was steckt darin?
Das Mixture-of-Experts-Modell hat etwa 816 Milliarden Parameter, aktiviert pro Token aber nur rund 42 Milliarden. Jede der 62 Schichten enthält 256 Experten, von denen der Router 8 auswählt. Der Rechenaufwand pro Token liegt damit deutlich unter der Gesamtgröße, dennoch müssen alle Experten im Speicher liegen.
| Merkmal | Wert |
|---|---|
| Parameter gesamt / aktiv | ~816B / ~42B |
| Experten | 256 pro Schicht, 8 aktiv |
| Eingabe | Text, Bilder, Audio, Video |
| Ausgabe | Text |
| Nativer Kontext | bis 1.048.576 Token |
| Checkpoints | BF16 und NVFP4 |
Bilder und Videoframes durchlaufen einen Perception Encoder mit 1,8B Parametern. Audio wird in 12,5 Token pro Sekunde umgewandelt. Das Modell wurde für lange agentische Abläufe trainiert: Repositories lesen, mehrere Dateien ändern, Tools ausführen, Ergebnisse beobachten und sich selbst korrigieren.
Speicher ist die eigentliche Grenze
Der BF16-Checkpoint belegt etwa 1,5 TB. Meta und Hugging Face dokumentieren Transformers-Inferenz auf 4 Knoten mit je 8 H200, also 32 GPUs. Ein Kontext von 1M schafft eine weitere Grenze: Der BF16-KV-Cache benötigt etwa 250 KB pro Token und kann ungefähr 266 GB erreichen.
NVFP4 reduziert den Speicherbedarf deutlich, benötigt aber NVIDIA Blackwell. Die vLLM-Referenz nutzt 4 Blackwell-GPUs, Tensor Parallel 4 und Expert Parallel, mit 131.072 Token Serving-Kontext. Unterstützt werden Text und Bilder.
Für alle Modalitäten ist SGLang auf 4×GB300 dokumentiert. Hugging Face bietet außerdem validierte Profile mit 8×RTX PRO 6000 für 128k oder 8×H200 für den vollen 1M-Kontext.
Läuft es wirklich lokal?
Ja, wobei „lokal“ einen außergewöhnlich großen Mac bedeutet. Das Q2_K-GGUF ist in 22 Shards etwa 304 GB groß. Hugging Face berichtet:
- Mac Studio M3 Ultra mit 512 GB Unified Memory;
- rund 304 GB Speicherbedarf für das Modell;
- ungefähr 18 Token/s mit llama.cpp;
- Eingabe von Text, Bildern und Audio.
MLX oQ3e benötigt etwa 344 GB und erreicht auf demselben Mac rund 21 Token/s bei der Generierung. 256 GB reichen nicht. Auch bei 512 GB muss der Kontext begrenzt werden, weil Gewichte und KV-Cache denselben Speicher teilen.
Die Profile im SophyAI-Katalog
Wir haben zwei sichtbare, aber noch nicht startbare Recipes ergänzt:
- vLLM NVFP4 auf 4×B200/B300, 128k, Text und Bilder.
- llama.cpp Q2_K auf einem M3 Ultra Mac mit 512 GB, Text, Bilder und Audio.
Sie sind als reference markiert: SophyAI veröffentlicht weder Preise noch eigene Benchmarks, bevor eine End-to-End-Sitzung abgeschlossen ist. Die offiziellen Meta-Repositories sind gated und die Gewichtslizenz ist als other gekennzeichnet; die Bedingungen müssen vor kommerzieller Nutzung geprüft werden.
Empfohlene Konfiguration
Für einen Unternehmenseinsatz würde ich heute wählen:
- 4×B200/B300 + vLLM für agentisches Coding mit Text und Bildern;
- 8×H200 + SGLang, wenn 1M Kontext unverzichtbar ist;
- M3 Ultra 512 GB + llama.cpp für privaten lokalen Betrieb ohne Cloud und mit Q2-Quantisierung;
- BF16 auf 32×H200 nur für Forschung, Fine-Tuning oder wenn die Qualität des vollen Checkpoints die Infrastruktur rechtfertigt.
Als Nächstes testen wir die NVFP4-Recipe auf einem Blackwell-Knoten, messen Download, Startzeit, Speicher, Durchsatz und Tool Calling und aktivieren erst danach den Start über die Plattform.