2026-10-16
vLLM-Omni kommt in den SophyAI-Katalog
Ein Inference-Server für Text, Bilder, Audio, Video und Aktionen. SophyAI führt ihn getrennt vom klassischen vLLM als Referenz.
vLLM-Omni kommt in den SophyAI-Katalog der Inference-Server. Das Apache-2.0-Projekt der vLLM-Community dient Modellen, die über Text hinausgehen: Verständnis und Erzeugung von Bildern, Audio, Video und Aktionen neben klassischen Textausgaben.
Warum es nicht einfach vLLM ist
vLLM wurde für die autoregressive Generierung von Sprachmodellen entwickelt. vLLM-Omni erweitert den Runtime um heterogene Pipelines und nicht autoregressive Architekturen, einschließlich Diffusion Transformer. Es kann mehrere Stufen koordinieren, ihre Ausführung überlappen und multimodale Daten zwischen getrennten Komponenten übertragen.
Die offizielle Liste unterstützter Modelle umfasst unter anderem Qwen3-Omni, MiniCPM-o 4.5, Qwen-Image, Z-Image, Wan, LTX, MiniMax H3, verschiedene TTS-Modelle und Robotik-Policies. Damit kann eine Serving-Architektur Aufgaben übernehmen, die bisher getrennte Server benötigten.
APIs und Integration
Der Server bietet OpenAI-kompatible APIs, sofern das jeweilige Modell sie unterstützt. Der offizielle Quickstart zeigt Z-Image Turbo zum Beispiel mit:
vllm serve Tongyi-MAI/Z-Image-Turbo --omni --port 8091und dem Endpoint POST /v1/images/generations. Das Projekt unterstützt außerdem Streaming und bei ausgewählten Modellen Full-Duplex-Audiogespräche in Echtzeit.
So kommt es zu SophyAI
vLLM-Omni ist im Katalog jetzt ein eigener Engine, getrennt von vLLM. Die erste Integration ist bewusst als Referenz klassifiziert:
- Server und Dokumentation sind im Katalog verfügbar;
- eine One-Click-Cloud-Sitzung wird noch nicht angeboten;
- wir veröffentlichen keine ungemessenen Angaben zu GPU, Durchsatz oder Kosten;
- jede künftige Recipe legt Modell, vLLM/vLLM-Omni-Versionen, Hardware, Endpoints und Bereitschaftstests fest.
Diese Trennung verhindert ein falsches Versprechen: Upstream-Support bedeutet nicht, dass ein Modell bereits auf einer bestimmten Maschine validiert wurde. Als Nächstes messen wir eine erste End-to-End-Recipe und machen sie über die Plattform startbar.
Eine Kontrolle, mehr Modalitäten
Für SophyAI liegt die Chance darin, Textmodelle, Bild- und Videogeneratoren, Sprachsynthese und omni-modale Systeme unter derselben lokalen Kontrolle zu halten, ohne Daten und Workflows an externe APIs zu übergeben. vLLM-Omni erweitert die Modellpalette für diese Architektur.