2026-10-16
vLLM-Omni llega al catálogo de SophyAI
Un servidor de inferencia para texto, imágenes, audio, vídeo y acciones. SophyAI lo añade como referencia, separado de vLLM clásico.
vLLM-Omni llega al catálogo de servidores de inferencia de SophyAI. Es un proyecto Apache 2.0 de la comunidad vLLM, diseñado para servir modelos que van más allá del texto: comprensión y generación de imágenes, audio, vídeo y acciones, además de la salida textual tradicional.
Por qué no es simplemente vLLM
vLLM nació para la generación autorregresiva de modelos de lenguaje. vLLM-Omni amplía ese runtime a pipelines heterogéneos y arquitecturas no autorregresivas, incluidos los Diffusion Transformers. Puede coordinar varias etapas, solapar su ejecución y transferir datos multimodales entre componentes separados.
La lista oficial de modelos compatibles incluye familias como Qwen3-Omni, MiniCPM-o 4.5, Qwen-Image, Z-Image, Wan, LTX, MiniMax H3, varios modelos TTS y políticas robóticas. Esto permite utilizar una sola arquitectura de serving para tareas que antes necesitaban servidores distintos.
API e integración
El servidor expone API compatibles con OpenAI cuando el modelo las admite. El quickstart oficial muestra, por ejemplo, Z-Image Turbo mediante:
vllm serve Tongyi-MAI/Z-Image-Turbo --omni --port 8091y el endpoint POST /v1/images/generations. El proyecto también admite streaming y, para algunos modelos, conversaciones de audio full-duplex en tiempo real.
Cómo entra en SophyAI
vLLM-Omni es ahora un motor distinto de vLLM en el catálogo. La primera integración se clasifica deliberadamente como referencia:
- el servidor y su documentación están disponibles en el catálogo;
- todavía no se ofrece una sesión cloud con un solo clic;
- no publicamos estimaciones de GPU, rendimiento o coste sin medir;
- cada futura recipe fijará el modelo, las versiones de vLLM/vLLM-Omni, el hardware, los endpoints y las pruebas de disponibilidad.
Esta distinción evita una promesa engañosa: el soporte upstream no significa que un modelo ya esté validado en una máquina concreta. El siguiente paso es medir una primera recipe end-to-end y hacerla ejecutable desde la plataforma.
Un solo control, más modalidades
Para SophyAI la oportunidad es clara: mantener modelos de texto, generadores de imágenes y vídeo, síntesis de voz y sistemas omni-modales bajo el mismo control local, sin entregar datos y workflows a API externas. vLLM-Omni amplía la gama de modelos que pueden incorporarse a esta arquitectura.