コンテンツにスキップ

音声エージェントの概要

Realtime Agents

音声エージェントは OpenAI の音声対音声モデルを使って、リアルタイムの音声チャットを提供します。これらのモデルは音声、テキスト、ツール呼び出しのストリーミングをサポートし、音声/電話でのカスタマーサポート、モバイルアプリでの体験、音声チャットなどの用途に最適です。

Voice Agents SDK は OpenAI Realtime API のための TypeScript クライアントを提供します。

  • WebSocket または WebRTC で接続
  • ブラウザおよびバックエンド接続の両方で使用可能
  • 音声および割り込みのハンドリング
  • ハンドオフによるマルチエージェントのオーケストレーション
  • ツールの定義と呼び出し
  • モデル出力を監視するカスタムガードレール
  • ストリーミングイベント用コールバック
  • テキストと音声のエージェントで同じコンポーネントを再利用

音声対音声モデルを使用することで、モデルが行動した後にテキストを文字起こしして再度音声に変換し直す必要なく、音声をリアルタイムに処理するモデルの能力を活用できます。

音声対音声モデル