2026-10-20
Project Maya: GLM-5.3-Flash und DeepSeek mit mehr Speicher und einer niedrigen GPU-Rechnung
Maya quantisiert GLM-5.3-Flash und DeepSeek-V4.1-Flash-1017 und dient sie von einer GPU, indem es Experten zwischen VRAM, RAM und NVMe verschiebt. Die Katalogprofile zielen auf eine PRO 6000 und eine H200.
Project Maya führt zwei Open-Weight-MoE auf eigener Hardware aus: GLM-5.3-Flash von Z.ai und DeepSeek-V4.1-Flash-1017. Der Code steht unter MIT. Mayas Quants behalten die Lizenz der Originalgewichte, ebenfalls MIT. SophyAI nimmt sie als Referenzprofile auf, neben den Pfaden, die bereits starten.
Die Quants
Maya veröffentlicht eigene Quants und behält den MTP-Block, der Tokens vorbereitet.
| Quant | Modell | Download | Von Maya genannte Treue |
|---|---|---|---|
| Maya-M | GLM-5.3-Flash | 116 GB | 97,9 % der Zero-Shot-Genauigkeit des FP8; dasselbe Folgetoken in 86 % der Fälle |
| Maya-S | DeepSeek-V4.1-Flash-1017 | 178 GB, plus etwa 203 GB Unsloth-Engram-Tabellen | dasselbe Folgetoken wie das Original in 92,6 % der Fälle |
GLM-5.3-Flash hat 321 Milliarden Parameter und etwa 18 Milliarden aktive Parameter pro Token. Der native Kontext reicht bis 1 Million. Das Katalogprofil dient 262.144, das Fenster der Upstream-Messung auf der PRO 6000. DeepSeek-V4.1-Flash-1017 ist die Gewichtungsaktualisierung vom 17. Oktober 2026, 748 Milliarden Parameter. Das Profil dient 131.072, wie der vLLM-Pfad, der schon im Katalog steht. Der native Kontext bleibt bei 1 Million.
Zwei Maschinen, eine niedrigere Rechnung
| Profil | Maschine | GPU-Spanne im Katalog | Upstream-Zahl |
|---|---|---|---|
glm53flash-maya-pro6000 | 1× RTX PRO 6000, mindestens 64 GB RAM | 1,2–2,0 USD/h | 81 tok/s Decode, 3102 Prefill, Kontext 256k |
dsv41-maya-h200 | 1× H200, mindestens 192 GB RAM, NVMe | 2,5–5,0 USD/h | tok/s für eine einzelne H200 nicht veröffentlicht |
Die Zeile mit 81 tok/s stammt von Maya, Version 1.1.7, auf einer RTX PRO 6000 Blackwell, einem Ryzen 7 9800X3D und 61 GB RAM, mit Maya-M. SophyAI hat den Unsloth-Pfad desselben GLM-5.3-Flash auf derselben Kartenklasse mit etwa 51 tok/s und 1,70 USD/h gemessen. Das Flagship GLM-5.3 auf einer H200 liegt in einer unserer Sitzungen bei 3,68 USD/h. Das sind verschiedene Modelle: Flash und Flagship. Das Maya-Profil ist der Flash-Weg, mit höherer genannter Decode-Rate, auf einer Workstation-GPU.
Bei DeepSeek steht vLLM auf 8× H200 im Katalog bei 16–32 USD/h, mit den vollen Gewichten von etwa 510 GB. Eine H200 liegt bei 2,5–5,0 USD/h. Maya-S legt heiße Experten auf die Karte und liest die übrigen aus RAM oder NVMe. Mehr naher Speicher bedeutet mehr Tempo. Die genaue Zahl auf einer H200 messen wir selbst: Maya veröffentlicht sie nicht.
API und Grenzen
Der Server spricht OpenAI unter http://127.0.0.1:8080/v1 und Anthropic unter /v1/messages, mit Tool Calling und Bildern. Beim Start reserviert Maya fast den gesamten freien RAM für die Experten. Die Recipes sind reference: keine SophyAI-Sitzung, keine eigenen tok/s, launchable=false.
Der optionale DFlash2-Drafter steht unter CC BY-NC-ND 4.0. Die Katalogprofile laden ihn nicht herunter. Die Strata-Profile auf einer 5090 und einer PRO 6000, im anderen Artikel, sind dieselbe Runtime auf der niedrigeren Preisstufe.