ルーターのほうが速い理由

リアルタイム音声のレイテンシは、モデルがトークンを受け取る前から始まっています。クライアントがライブストリームを開き、不安定なネットワーク越しに小さな音声フレームを送り、それらがバッファリングされるのを待ち、さらに生成された音声が同じ経路を戻ってくるのを待つ。そこからすでに始まっているのです。

一般的なネイティブ統合では、アプリケーションサーバーがリアルタイムメディアの境界になります。クライアントはサーバーへ音声をストリーミングし、サーバーがそれをバッファリングし、STT・LLM・TTSプロバイダーとやり取りしてから、音声をクライアントへストリーミングし返します。この構成でも動作はしますが、対話の品質は、サーバーが各ユーザーにどれだけ近いかに左右されるようになります。

AllModelsはこの境界の位置を変えます。クライアントのライブストリームは、ユーザーに近いグローバルCDNのルートで終端されます。音声の頻繁なデータのやり取りや、バッファリング、ジッター、停止、再試行、バックプレッシャーは、クライアントの近くで処理されます。そこからAllModelsが、アプリとモデルプロバイダーへよりクリーンな上流接続を張ります。

これが、ルーターがネイティブより速くなり得る理由です。ルーターはルーティングのオーバーヘッドを加えますが、それより大きなクライアントからオリジンまでのレイテンシをリアルタイムのループから取り除けます。

すでに独自のグローバルなエッジ音声ルーターを構築済みであれば、ネイティブのモデル接続が依然として最も低レイテンシな経路かもしれません。その場合、AllModelsは抽象化レイヤーとして機能します。手軽なモデル選択、請求の一元化、AllModelsのルート間での直接的な相互運用性は引き続き得られます。