AssemblyAI: Universal-Streaming Multilingual

Name: Universal-Streaming Multilingual
Author: AssemblyAI

assemblyai/universal-streaming-multilingual

提供中 stt 1プロバイダー

Playground

Realtime speech-to-text across 6 languages in one unified streaming model.

作成者AssemblyAI

言語6言語

ステータス提供中

クイックスタート

Universal-Streaming Multilingual

APIキーを作成する

AllModelsに登録してAPIキーを作成し、ALLMODELS_API_KEYとして設定します。

APIキーを作成

リクエストを送る

SDK、リクエストモード、言語を選びます。モデルとプロバイダールートは入力済みです。

ElevenLabs SDKでのストリーミングSTT

マイクまたはファイルの音声を、ElevenLabs互換のAllModelsルート経由でストリーミングします。

import { ElevenLabsClient } from "elevenlabs";

const client = new ElevenLabsClient({
  apiKey: process.env.ALLMODELS_API_KEY,
  baseUrl: "https://api.allmodels.io/el"
});

const connection = await client.speechToText.realtime.connect({
  modelId: "assemblyai/universal-streaming-multilingual",
  languageCode: "en"
}, {
  queryParams: {
    provider: {
      "only": [
        "assemblyai"
      ]
    }
  }
});

// Send audio frames to connection, then handle transcript events.

プロバイダーパラメーターを渡す

ルートを特定のプロバイダーに固定したい場合は、互換SDKのリクエストオプションでproviderの設定を渡します。

{
  queryParams: {
    provider: {
      only: ["assemblyai"]
    }
  }
}

プロバイダー

同じモデルを複数のプロバイダーがホストしている場合があります。バックエンドを固定したい場合は1つのプロバイダーを選び、そうでなければルーティングに選択を任せられます。

プロバイダーSlug1時間あたりレイテンシiモード稼働率

AssemblyAI 14個のパラメーター

assemblyai

$0.15

—

ストリーミング

AssemblyAI

このルートには14個のプロバイダーパラメーターが記載されています。

料金

モード言語1時間あたり

Streaming すべて $0.15

+ Speaker Diarization (Streaming) すべて $0.12

+ Medical Mode すべて $0.15

+ Keyterms Prompting すべて $0.04

パラメーター

domain body · unknown · 任意

AllModelsのパラメーター「domain」から変換されます。

encoding body · unknown · 任意

AllModelsのパラメーター「response_format」から変換されます。

end_of_turn_confidence_threshold body · unknown · 任意

AllModelsのパラメーター「end_of_turn_confidence_threshold」から変換されます。

format_turns body · unknown · 任意

AllModelsのパラメーター「format_turns」から変換されます。

inactivity_timeout body · unknown · 任意

AllModelsのパラメーター「inactivity_timeout」から変換されます。

keyterms_prompt body · unknown · 任意

AllModelsのパラメーター「keyterms_prompt」から変換されます。

language_detection body · unknown · 任意

AllModelsのパラメーター「language_detection」から変換されます。

max_speakers body · unknown · 任意

AllModelsのパラメーター「max_speakers」から変換されます。

max_turn_silence body · unknown · 任意

AllModelsのパラメーター「max_turn_silence」から変換されます。

min_turn_silence body · unknown · 任意

AllModelsのパラメーター「min_turn_silence」から変換されます。

sample_rate body · unknown · 任意

AllModelsのパラメーター「sample_rate」から変換されます。

speaker_labels body · unknown · 任意

AllModelsのパラメーター「diarization」から変換されます。

speech_model body · unknown · 任意

AllModelsのパラメーター「model」から変換されます。

vad_threshold body · unknown · 任意

AllModelsのパラメーター「vad_threshold」から変換されます。

対応言語

6言語

English en

Spanish es

French fr

German de

Italian it

Portuguese pt

機能

Speech to text

Transcribes spoken audio to text.

speech_to_text

Streaming

Real-time streaming transcription over WebSocket.

streaming

Multilingual transcription

Supports 6 languages (en, es, fr, de, it, pt).

multilingual_transcription

Speaker diarization

Identifies and labels multiple speakers.

speaker_diarization

Word-level timestamps

Returns word-level timestamps.

word_timestamps

コード

ElevenLabs SDKでのストリーミングSTT

マイクまたはファイルの音声を、ElevenLabs互換のAllModelsルート経由でストリーミングします。

import { ElevenLabsClient } from "elevenlabs";

const client = new ElevenLabsClient({
  apiKey: process.env.ALLMODELS_API_KEY,
  baseUrl: "https://api.allmodels.io/el"
});

const connection = await client.speechToText.realtime.connect({
  modelId: "assemblyai/universal-streaming-multilingual",
  languageCode: "en"
}, {
  queryParams: {
    provider: {
      "only": [
        "assemblyai"
      ]
    }
  }
});

// Send audio frames to connection, then handle transcript events.