600msも待てない音声エージェントのために

AssemblyAI: Universal-Streaming (English)

assemblyai/universal-streaming-english
提供中 stt 1プロバイダー
Playground

Ultra-fast (~300ms) English realtime speech-to-text built for voice agents.

作成者AssemblyAI
言語1言語
ステータス提供中

プロバイダー

同じモデルを複数のプロバイダーがホストしている場合があります。バックエンドを固定したい場合は1つのプロバイダーを選び、そうでなければルーティングに選択を任せられます。

プロバイダーSlug1時間あたりレイテンシiTTSのレイテンシは音声の最初のバイトが届くまでの時間、STTのレイテンシは最初のトークンが届くまでの時間で計測しています。モード稼働率
AssemblyAI 13個のパラメーター
assemblyai
$0.15
—
ストリーミング

対応言語

1言語
English en

機能

Speech to text

Transcribes spoken audio to text.

speech_to_text
Streaming

Real-time streaming transcription over WebSocket.

streaming
Multilingual transcription

English only.

multilingual_transcription
Speaker diarization

Identifies and labels multiple speakers.

speaker_diarization
Word-level timestamps

Returns word-level timestamps.

word_timestamps

コード

クライアント
モード
言語

ElevenLabs SDKでのストリーミングSTT

マイクまたはファイルの音声を、ElevenLabs互換のAllModelsルート経由でストリーミングします。

import { ElevenLabsClient } from "elevenlabs";

const client = new ElevenLabsClient({
  apiKey: process.env.ALLMODELS_API_KEY,
  baseUrl: "https://api.allmodels.io/el"
});

const connection = await client.speechToText.realtime.connect({
  modelId: "assemblyai/universal-streaming-english",
  languageCode: "en"
}, {
  queryParams: {
    provider: {
      "only": [
        "assemblyai"
      ]
    }
  }
});

// Send audio frames to connection, then handle transcript events.