AssemblyAI: Universal-3.5 Pro Realtime

Name: Universal-3.5 Pro Realtime
Author: AssemblyAI

assemblyai/universal-3-5-pro-realtime

提供中 stt 1プロバイダー

Playground

AssemblyAI's most accurate realtime model (u3-rt-pro) with keyterm prompting, disfluency control, code-switching and realtime diarization.

作成者AssemblyAI

言語multilingual

ステータス提供中

クイックスタート

Universal-3.5 Pro Realtime

APIキーを作成する

AllModelsに登録してAPIキーを作成し、ALLMODELS_API_KEYとして設定します。

APIキーを作成

リクエストを送る

SDK、リクエストモード、言語を選びます。モデルとプロバイダールートは入力済みです。

ElevenLabs SDKでのストリーミングSTT

マイクまたはファイルの音声を、ElevenLabs互換のAllModelsルート経由でストリーミングします。

import { ElevenLabsClient } from "elevenlabs";

const client = new ElevenLabsClient({
  apiKey: process.env.ALLMODELS_API_KEY,
  baseUrl: "https://api.allmodels.io/el"
});

const connection = await client.speechToText.realtime.connect({
  modelId: "assemblyai/universal-3-5-pro-realtime",
  languageCode: "en"
}, {
  queryParams: {
    provider: {
      "only": [
        "assemblyai"
      ]
    }
  }
});

// Send audio frames to connection, then handle transcript events.

プロバイダーパラメーターを渡す

ルートを特定のプロバイダーに固定したい場合は、互換SDKのリクエストオプションでproviderの設定を渡します。

{
  queryParams: {
    provider: {
      only: ["assemblyai"]
    }
  }
}

プロバイダー

同じモデルを複数のプロバイダーがホストしている場合があります。バックエンドを固定したい場合は1つのプロバイダーを選び、そうでなければルーティングに選択を任せられます。

プロバイダーSlug1時間あたりレイテンシiモード稼働率

AssemblyAI 12個のパラメーター

assemblyai

$0.45

—

ストリーミング

AssemblyAI

このルートには12個のプロバイダーパラメーターが記載されています。

料金

モード言語1時間あたり

Streaming すべて $0.45

+ Speaker Diarization (Streaming) すべて $0.12

+ Medical Mode すべて $0.15

パラメーター

domain body · unknown · 任意

AllModelsのパラメーター「domain」から変換されます。

encoding body · unknown · 任意

AllModelsのパラメーター「response_format」から変換されます。

inactivity_timeout body · unknown · 任意

AllModelsのパラメーター「inactivity_timeout」から変換されます。

keyterms_prompt body · unknown · 任意

AllModelsのパラメーター「keyterms_prompt」から変換されます。

max_speakers body · unknown · 任意

AllModelsのパラメーター「max_speakers」から変換されます。

max_turn_silence body · unknown · 任意

AllModelsのパラメーター「max_turn_silence」から変換されます。

min_turn_silence body · unknown · 任意

AllModelsのパラメーター「min_turn_silence」から変換されます。

prompt body · unknown · 任意

AllModelsのパラメーター「prompt」から変換されます。

sample_rate body · unknown · 任意

AllModelsのパラメーター「sample_rate」から変換されます。

speaker_labels body · unknown · 任意

AllModelsのパラメーター「diarization」から変換されます。

speech_model body · unknown · 任意

AllModelsのパラメーター「model」から変換されます。

vad_threshold body · unknown · 任意

AllModelsのパラメーター「vad_threshold」から変換されます。

対応言語

このモデルの確認済み言語リストはまだありません。

機能

Speech to text

Transcribes spoken audio to text.

speech_to_text

Streaming

Real-time streaming transcription over WebSocket.

streaming

Multilingual transcription

Multilingual code-switching.

multilingual_transcription

Speaker diarization

Identifies and labels multiple speakers.

speaker_diarization

Word-level timestamps

Returns word-level timestamps.

word_timestamps

コード

ElevenLabs SDKでのストリーミングSTT

マイクまたはファイルの音声を、ElevenLabs互換のAllModelsルート経由でストリーミングします。

import { ElevenLabsClient } from "elevenlabs";

const client = new ElevenLabsClient({
  apiKey: process.env.ALLMODELS_API_KEY,
  baseUrl: "https://api.allmodels.io/el"
});

const connection = await client.speechToText.realtime.connect({
  modelId: "assemblyai/universal-3-5-pro-realtime",
  languageCode: "en"
}, {
  queryParams: {
    provider: {
      "only": [
        "assemblyai"
      ]
    }
  }
});

// Send audio frames to connection, then handle transcript events.