2026-10-20
Strata dans le catalogue : GLM-5.3-Flash et DeepSeek sur un seul GPU
Le moteur Strata répartit les experts d'un MoE entre le GPU, la RAM et le SSD. Dans le catalogue SophyAI, les profils les moins chers de GLM-5.3-Flash et DeepSeek-V4.1-Flash-1017 utilisent ce dessin, exécuté par Project Maya.
Strata est un moteur d'inférence open source sous licence MIT, conçu pour faire tourner un Mixture of Experts sur un PC. L'application publique sert Qwen3.8-Flash-Next. Pour GLM-5.3-Flash et DeepSeek-V4.1-Flash-1017, le dépôt à cloner est Project Maya, qui a réécrit ce moteur pour ces deux architectures. SophyAI ajoute deux profils Strata, visibles et pas encore lançables.
Comment la mémoire est répartie
Un MoE de cette taille ne tient pas dans une carte de 32 ou 96 Go. Strata, puis Maya, coupe le travail en trois étages :
- le GPU garde les experts les plus utilisés ;
- la RAM garde l'étage suivant ;
- le NVMe garde le reste, lu au moment voulu.
Chaque token n'active qu'une poignée d'experts. Le reste peut rester hors de la VRAM. C'est la même idée que le chemin Unsloth avec --n-cpu-moe, avec un runtime écrit pour cet échange.
Les deux profils au coût le plus bas
Les prix ci-dessous sont les fourchettes typical_usd_h déjà présentes dans gpus.json. Ce ne sont pas des mesures d'une session SophyAI. Les tok/s sont des chiffres upstream de Maya, pris avec ./maya.sh --bench.
| Profil | Machine | Poids | Fourchette GPU | Vitesse upstream |
|---|---|---|---|---|
glm53flash-strata-5090 | 1× RTX 5090, 96 Go de RAM | Maya-M, 116 Go | 0,5–1,3 USD/h | plus de 30 tok/s en décodage, environ 2000 en prefill |
dsv41-strata-pro6000 | 1× RTX PRO 6000, au moins 192 Go de RAM, NVMe | Maya-S, 178 Go, plus environ 203 Go de tables Engram | 1,2–2,0 USD/h | non publiée pour cette machine |
Le GLM de ces profils est GLM-5.3-Flash : 321 milliards de paramètres, environ 18 milliards actifs par token, contexte natif jusqu'à 1 million. Le flagship GLM-5.3 NVFP4 reste sur FreeToken. Le checkpoint DeepSeek est DeepSeek-V4.1-Flash-1017, publié le 17 octobre 2026.
Sur la 5090, la comparaison interne est le chemin Unsloth avec les experts sur le CPU, mesuré par SophyAI à environ 5,6 tok/s. Le chiffre upstream de Maya-M, plus de 30 tok/s sur la même classe de carte, est la raison du profil. Il reste à le vérifier dans une session à nous.
Pour DeepSeek, la comparaison de coût est vLLM sur 8× H200, au catalogue entre 16 et 32 USD/h. Une PRO 6000 se situe entre 1,2 et 2,0 USD/h. Maya-S annonce 92,6 % des mêmes tokens suivants que le modèle original. Le chemin vLLM à 8 GPU reste celui des poids MXFP4/MXFP8 complets, environ 510 Go.
Ce qui ne démarre pas encore
Les recipes ont launch=reference et launchable=false. L'API prévue est sur le port 8080, compatible OpenAI et Anthropic, avec images et tool calling. Le drafter DFlash2 a une licence non commerciale et n'entre pas dans ces profils.
strata launch du dépôt Niko1221 continue de servir Qwen3.8-Flash-Next. Pour ces deux recipes, le clone est Project Maya.