2026-10-16
vLLM-Omni rejoint le catalogue SophyAI
Un serveur d'inférence pour le texte, l'image, l'audio, la vidéo et les actions. SophyAI l'ajoute comme référence, séparément de vLLM.
vLLM-Omni rejoint le catalogue des serveurs d'inférence SophyAI. Ce projet Apache 2.0 de la communauté vLLM est conçu pour servir des modèles qui dépassent le texte : compréhension et génération d'images, d'audio, de vidéo et d'actions, en plus des sorties textuelles classiques.
Pourquoi ce n'est pas simplement vLLM
vLLM a été créé pour la génération autorégressive des modèles de langage. vLLM-Omni étend ce runtime aux pipelines hétérogènes et aux architectures non autorégressives, notamment les Diffusion Transformers. Il peut coordonner plusieurs étapes, superposer leur exécution et transférer des données multimodales entre composants distincts.
La liste officielle des modèles pris en charge comprend notamment Qwen3-Omni, MiniCPM-o 4.5, Qwen-Image, Z-Image, Wan, LTX, MiniMax H3, plusieurs modèles TTS et des politiques robotiques. Une même architecture de serving peut ainsi couvrir des tâches qui exigeaient auparavant des serveurs séparés.
API et intégration
Le serveur expose des API compatibles OpenAI lorsque le modèle les prend en charge. Le quickstart officiel montre par exemple Z-Image Turbo avec :
vllm serve Tongyi-MAI/Z-Image-Turbo --omni --port 8091et l'endpoint POST /v1/images/generations. Le projet prend aussi en charge le streaming et, pour certains modèles, les conversations audio full-duplex en temps réel.
Son arrivée dans SophyAI
vLLM-Omni est désormais un moteur distinct de vLLM dans le catalogue. Cette première intégration est volontairement classée comme référence :
- le serveur et sa documentation sont disponibles dans le catalogue ;
- aucune session cloud en un clic n'est encore proposée ;
- nous ne publions aucune estimation non mesurée de GPU, débit ou coût ;
- chaque future recipe fixera le modèle, les versions vLLM/vLLM-Omni, le matériel, les endpoints et les tests de disponibilité.
Cette distinction évite une promesse trompeuse : le support upstream ne signifie pas qu'un modèle est déjà validé sur une machine précise. La prochaine étape consiste à mesurer une première recipe de bout en bout et à la rendre lançable depuis la plateforme.
Un seul contrôle, plus de modalités
Pour SophyAI, l'opportunité est claire : garder les modèles textuels, les générateurs d'images et de vidéos, la synthèse vocale et les systèmes omni-modaux sous le même contrôle local, sans confier données et workflows à des API externes. vLLM-Omni élargit les modèles intégrables à cette architecture.