2026-10-20
Strata en el catálogo: GLM-5.3-Flash y DeepSeek en una sola GPU
El motor Strata reparte los expertos de un MoE entre la GPU, la RAM y el SSD. En el catálogo de SophyAI los perfiles más baratos de GLM-5.3-Flash y DeepSeek-V4.1-Flash-1017 usan ese diseño, ejecutado por Project Maya.
Strata es un motor de inferencia de código abierto con licencia MIT, pensado para ejecutar un Mixture of Experts en un PC. La aplicación pública sirve Qwen3.8-Flash-Next. Para GLM-5.3-Flash y DeepSeek-V4.1-Flash-1017 el repositorio que hay que clonar es Project Maya, que reescribió ese motor para estas dos arquitecturas. SophyAI añade dos perfiles Strata, visibles y todavía no arrancables.
Cómo se reparte la memoria
Un MoE de este tamaño no cabe en una tarjeta de 32 o 96 GB. Strata, y Maya después, divide el trabajo en tres niveles:
- la GPU guarda los expertos que más se usan;
- la RAM guarda el nivel siguiente;
- el NVMe guarda el resto y se lee en el momento.
Cada token activa solo un puñado de expertos. El resto puede quedarse fuera de la VRAM. Es la misma idea que el camino Unsloth con --n-cpu-moe, con un runtime escrito para ese intercambio.
Los dos perfiles de menor coste
Los precios de abajo son las franjas typical_usd_h que ya están en gpus.json. No son medidas de una sesión SophyAI. Los tok/s son cifras upstream de Maya, tomadas con ./maya.sh --bench.
| Perfil | Máquina | Pesos | Franja GPU | Velocidad upstream |
|---|---|---|---|---|
glm53flash-strata-5090 | 1× RTX 5090, 96 GB de RAM | Maya-M, 116 GB | 0,5–1,3 USD/h | más de 30 tok/s en decode, unos 2000 en prefill |
dsv41-strata-pro6000 | 1× RTX PRO 6000, al menos 192 GB de RAM, NVMe | Maya-S, 178 GB, más unos 203 GB de tablas Engram | 1,2–2,0 USD/h | no publicada para esta máquina |
El GLM de estos perfiles es GLM-5.3-Flash: 321 mil millones de parámetros, unos 18 mil millones activos por token, contexto nativo de hasta 1 millón. El flagship GLM-5.3 NVFP4 sigue en FreeToken. El checkpoint DeepSeek es DeepSeek-V4.1-Flash-1017, publicado el 17 de octubre de 2026.
En la 5090 la comparación interna es el camino Unsloth con expertos en CPU, medido por SophyAI en unos 5,6 tok/s. La cifra upstream de Maya-M, más de 30 tok/s en la misma clase de tarjeta, es el motivo del perfil. Aún hay que comprobarla en una sesión nuestra.
Para DeepSeek la comparación de coste es vLLM en 8× H200, en catálogo entre 16 y 32 USD/h. Una PRO 6000 está entre 1,2 y 2,0 USD/h. Maya-S declara el 92,6% de los mismos tokens siguientes que el modelo original. El camino vLLM de 8 GPU sigue siendo el de los pesos MXFP4/MXFP8 completos, unos 510 GB.
Lo que todavía no arranca
Las recipes tienen launch=reference y launchable=false. La API prevista está en el puerto 8080, compatible con OpenAI y Anthropic, con imágenes y tool calling. El drafter DFlash2 tiene licencia no comercial y no entra en estos perfiles.
strata launch del repositorio Niko1221 sigue sirviendo Qwen3.8-Flash-Next. Para estas dos recipes el clon es Project Maya.