2026-10-20
Strata nel catalogo: GLM-5.3-Flash e DeepSeek su una sola GPU
Il motore Strata tiene gli expert di un MoE fra scheda video, RAM e SSD. Nel catalogo SophyAI i profili a costo più basso di GLM-5.3-Flash e DeepSeek-V4.1-Flash-1017 usano questo disegno, eseguito da Project Maya.
Strata è un motore di inference open source, licenza MIT, pensato per far stare un modello Mixture of Experts su un PC. L'app pubblica avvia Qwen3.8-Flash-Next. Per GLM-5.3-Flash e DeepSeek-V4.1-Flash-1017 il processo da clonare è Project Maya, che ha riscritto quel motore per queste due architetture. SophyAI aggiunge due profili Strata, visibili e non ancora avviabili.
Come sta in memoria
Un MoE di questa taglia non entra in una scheda da 32 o 96 GB. Strata, e Maya dopo di lui, divide il lavoro in tre piani:
- la scheda video tiene gli expert usati più spesso;
- la RAM tiene il livello successivo;
- l'NVMe tiene il resto, letto al momento.
Ogni token attiva solo una manciata di expert. Il resto può restare fuori dalla VRAM. È lo stesso principio del path Unsloth con --n-cpu-moe, con un runtime scritto per questo scambio.
I due profili a costo basso
I prezzi qui sotto sono le fasce typical_usd_h già presenti in gpus.json. Non sono misure di una sessione SophyAI. Anche i tok/s sono numeri upstream di Maya, raccolti con ./maya.sh --bench.
| Profilo | Macchina | Pesi | Fascia GPU | Velocità upstream |
|---|---|---|---|---|
glm53flash-strata-5090 | 1× RTX 5090, 96 GB di RAM | Maya-M, 116 GB | 0,5–1,3 USD/h | oltre 30 tok/s in decode, circa 2000 in prefill |
dsv41-strata-pro6000 | 1× RTX PRO 6000, almeno 192 GB di RAM, NVMe | Maya-S, 178 GB, più circa 203 GB di tabelle Engram | 1,2–2,0 USD/h | non pubblicata per questa macchina |
Il GLM di questi profili è GLM-5.3-Flash: 321 miliardi di parametri, circa 18 miliardi attivi per token, contesto nativo fino a 1 milione. Il flagship GLM-5.3 NVFP4 resta su FreeToken. Il checkpoint DeepSeek è DeepSeek-V4.1-Flash-1017, pubblicato il 17 ottobre 2026.
Sulla 5090 il confronto interno è con il path Unsloth a expert sulla CPU, misurato da SophyAI a circa 5,6 tok/s. Il numero upstream di Maya-M, oltre 30 tok/s sulla stessa classe di scheda, è il motivo per cui il profilo esiste. Va ancora verificato su una nostra sessione.
Per DeepSeek il confronto di costo è con vLLM su 8× H200, in catalogo fra 16 e 32 USD/h. Una PRO 6000 sta fra 1,2 e 2,0 USD/h. Maya-S dichiara il 92,6% degli stessi token successivi del modello originale. Il path vLLM a 8 GPU resta quello dei pesi MXFP4/MXFP8 interi, circa 510 GB.
Cosa non parte ancora
Le recipe hanno launch=reference e launchable=false. API prevista sulla porta 8080, compatibile OpenAI e Anthropic, con immagini e tool calling. Il drafter DFlash2 ha licenza non commerciale e non entra in questi profili.
strata launch del repository Niko1221 continua a servire Qwen3.8-Flash-Next. Per queste due recipe il clone è Project Maya.