2026-10-20
Project Maya: GLM-5.3-Flash e DeepSeek con più memoria e un conto GPU basso
Maya quantizza GLM-5.3-Flash e DeepSeek-V4.1-Flash-1017 e li serve da una sola GPU, spostando gli expert fra VRAM, RAM e NVMe. Nel catalogo i profili Maya puntano a una PRO 6000 e a una H200.
Project Maya esegue due MoE open-weight su hardware proprio: GLM-5.3-Flash di Z.ai e DeepSeek-V4.1-Flash-1017. Licenza MIT sul codice. I quant Maya restano sotto la licenza dei pesi originali, anch'essa MIT. SophyAI li aggiunge come profili di riferimento, accanto ai path già avviabili.
I quant
Maya pubblica quant suoi, con il blocco MTP che anticipa i token.
| Quant | Modello | Download | Fedeltà dichiarata da Maya |
|---|---|---|---|
| Maya-M | GLM-5.3-Flash | 116 GB | 97,9% dell'accuratezza zero-shot del FP8; 86% lo stesso token successivo |
| Maya-S | DeepSeek-V4.1-Flash-1017 | 178 GB, più circa 203 GB di tabelle Engram Unsloth | 92,6% lo stesso token successivo dell'originale |
GLM-5.3-Flash ha 321 miliardi di parametri e circa 18 miliardi attivi per token. Il contesto nativo arriva a 1 milione. Il profilo catalogo ne serve 262.144, la finestra della misura upstream sulla PRO 6000. DeepSeek-V4.1-Flash-1017 è il refresh dei pesi del 17 ottobre 2026, 748 miliardi di parametri. Il profilo ne serve 131.072, come il path vLLM già in catalogo. Il contesto nativo resta di 1 milione.
Due macchine, un conto più basso
| Profilo | Macchina | Fascia GPU del catalogo | Numero upstream |
|---|---|---|---|
glm53flash-maya-pro6000 | 1× RTX PRO 6000, almeno 64 GB di RAM | 1,2–2,0 USD/h | 81 tok/s in decode, 3102 in prefill, contesto 256k |
dsv41-maya-h200 | 1× H200, almeno 192 GB di RAM, NVMe | 2,5–5,0 USD/h | tok/s non pubblicato per una sola H200 |
La riga da 81 tok/s è di Maya, versione 1.1.7, su una RTX PRO 6000 Blackwell, Ryzen 7 9800X3D e 61 GB di RAM, con Maya-M. SophyAI ha misurato il path Unsloth dello stesso GLM-5.3-Flash sulla stessa classe di scheda a circa 51 tok/s e 1,70 USD/h. Il flagship GLM-5.3 su H200, in una sessione nostra, è a 3,68 USD/h. Sono modelli diversi: Flash e flagship. Il profilo Maya è la via Flash con più decode dichiarato e una sola scheda workstation.
Per DeepSeek, vLLM su 8× H200 sta in catalogo fra 16 e 32 USD/h, con i pesi interi da circa 510 GB. Una H200 sta fra 2,5 e 5,0 USD/h. Maya-S sposta gli expert caldi sulla scheda e legge gli altri dalla RAM o dall'NVMe. Più memoria vicina, più velocità. Il numero preciso su una H200 lo misureremo noi: Maya non lo pubblica.
API e limiti
Il server parla OpenAI su http://127.0.0.1:8080/v1 e Anthropic su /v1/messages, con tool calling e immagini. All'avvio Maya riserva quasi tutta la RAM libera per gli expert. Le recipe sono reference: nessuna sessione SophyAI, nessun tok/s nostro, launchable=false.
Il drafter opzionale DFlash2 è CC BY-NC-ND 4.0. I profili catalogo non lo scaricano. I profili Strata sulla 5090 e sulla PRO 6000, descritti nell'altro articolo, sono lo stesso runtime sul gradino di prezzo più basso.