La latence de la voix temps réel commence avant que le modèle ne voie le moindre token. Elle commence quand le client ouvre un flux en direct, envoie de petites trames audio sur un réseau peu fiable, attend qu’elles soient mises en tampon, puis attend que l’audio généré refasse le même trajet en sens inverse.
Dans une intégration native classique, votre serveur d’application devient la frontière média temps réel. Le client envoie l’audio à votre serveur, votre serveur le met en tampon, dialogue avec les fournisseurs STT, LLM et TTS, puis renvoie l’audio au client. Cette architecture peut fonctionner, mais la qualité de l’interaction dépend alors de la proximité de votre serveur avec chaque utilisateur.
AllModels déplace cette frontière. Le flux client en direct se termine sur une route CDN mondiale proche de l’utilisateur. Les nombreux échanges liés à l’audio, ainsi que la mise en tampon, la gigue, les blocages, les nouvelles tentatives et la contre-pression, sont gérés près du client. De là, AllModels ouvre des connexions amont plus propres vers votre application et les fournisseurs de modèles.
Voilà pourquoi un routeur peut être plus rapide qu’une intégration native. Le routeur ajoute un surcoût de routage, mais il peut retirer de la boucle temps réel un coût de latence client-origine bien plus important.
Si vous avez déjà construit votre propre routeur audio edge mondial, une connexion native au modèle peut rester le chemin le plus rapide. Dans ce cas, AllModels sert de couche d’abstraction : vous gardez une sélection de modèles simple, une facturation unifiée et une interopérabilité directe entre les routes AllModels.
Allmodels Router