2026-10-20
Strata im Katalog: GLM-5.3-Flash und DeepSeek auf einer GPU
Die Strata-Engine hält die Experten eines MoE über GPU, RAM und SSD verteilt. Die günstigsten SophyAI-Profile für GLM-5.3-Flash und DeepSeek-V4.1-Flash-1017 nutzen dieses Modell und laufen über Project Maya.
Strata ist eine Open-Source-Inferenz-Engine unter MIT-Lizenz. Sie soll ein Mixture-of-Experts-Modell auf einem PC ausführen. Die öffentliche App dient Qwen3.8-Flash-Next. Für GLM-5.3-Flash und DeepSeek-V4.1-Flash-1017 ist das zu klonende Repository Project Maya: Maya hat diese Engine für die beiden Architekturen neu geschrieben. SophyAI nimmt zwei Strata-Profile auf. Sie sind sichtbar und noch nicht startbar.
Wie die Gewichte im Speicher liegen
Ein MoE dieser Größe passt nicht auf eine Karte mit 32 oder 96 GB. Strata, und danach Maya, teilt die Arbeit in drei Stufen:
- die GPU hält die am häufigsten genutzten Experten;
- der RAM hält die nächste Stufe;
- die NVMe hält den Rest und wird bei Bedarf gelesen.
Jeder Token aktiviert nur eine Handvoll Experten. Der Rest kann außerhalb des VRAM bleiben. Das ist dieselbe Idee wie der Unsloth-Pfad mit --n-cpu-moe, mit einer Runtime, die für diesen Austausch geschrieben ist.
Die zwei günstigen Profile
Die Preise unten sind die typical_usd_h-Spannen, die schon in gpus.json stehen. Es sind keine Messungen aus einer SophyAI-Sitzung. Die tok/s-Werte stammen von Maya und wurden mit ./maya.sh --bench aufgenommen.
| Profil | Maschine | Gewichte | GPU-Spanne | Upstream-Tempo |
|---|---|---|---|---|
glm53flash-strata-5090 | 1× RTX 5090, 96 GB RAM | Maya-M, 116 GB | 0,5–1,3 USD/h | über 30 tok/s Decode, etwa 2000 Prefill |
dsv41-strata-pro6000 | 1× RTX PRO 6000, mindestens 192 GB RAM, NVMe | Maya-S, 178 GB, plus etwa 203 GB Engram-Tabellen | 1,2–2,0 USD/h | für diese Maschine nicht veröffentlicht |
Das GLM dieser Profile ist GLM-5.3-Flash: 321 Milliarden Parameter, etwa 18 Milliarden aktiv pro Token, nativer Kontext bis 1 Million. Das Flagship GLM-5.3 NVFP4 bleibt auf FreeToken. Der DeepSeek-Checkpoint ist DeepSeek-V4.1-Flash-1017, veröffentlicht am 17. Oktober 2026.
Auf der 5090 ist der interne Vergleich der Unsloth-Pfad mit Experten auf der CPU, von SophyAI mit etwa 5,6 tok/s gemessen. Die Upstream-Zahl von Maya-M, über 30 tok/s auf derselben Kartenklasse, ist der Grund für das Profil. Sie muss noch in einer eigenen Sitzung geprüft werden.
Bei DeepSeek ist der Kostenvergleich vLLM auf 8× H200, im Katalog bei 16–32 USD/h. Eine PRO 6000 liegt bei 1,2–2,0 USD/h. Maya-S nennt 92,6 % dieselben Folgetoken wie das Original. Der vLLM-Pfad mit 8 GPUs bleibt der für die vollen MXFP4/MXFP8-Gewichte, etwa 510 GB.
Was noch nicht startet
Die Recipes haben launch=reference und launchable=false. Die vorgesehene API liegt auf Port 8080, kompatibel mit OpenAI und Anthropic, mit Bildern und Tool Calling. Der DFlash2-Drafter hat eine nicht-kommerzielle Lizenz und gehört nicht zu diesen Profilen.
strata launch aus dem Repository von Niko1221 dient weiter Qwen3.8-Flash-Next. Für diese beiden Recipes ist der Klon Project Maya.