音声エージェントの概要
音声エージェントを使うと、OpenAI の音声対音声モデルを基盤とする低遅延の音声インターフェースを構築できます。SDK は Realtime API のメンタルモデルをそのまま維持しつつ、元のイベントフローを RealtimeAgent、RealtimeSession、トランスポートヘルパーでラップすることで、ツール、ガードレール、ハンドオフ、セッション履歴を扱いやすくします。
内部では、公式の WebRTC を使用した Realtime API、リアルタイム会話、音声アクティビティ検出の各ガイドで説明されている Realtime の概念がそのまま適用されます。Agents SDK は、この API の上に TypeScript ファーストのレイヤーを追加します。これにより、トランスポートやイベント処理を一から作り直すことなく、プロダクトのロジックに集中できます。
クイックスタート OpenAI Agents SDK を使って、ほんの数分で初めてのリアルタイム音声アシスタントを構築できます。
音声エージェントの構築 SDK におけるセッションのライフサイクル、VAD、割り込み、マルチモーダル入力、ツール、履歴の仕組みを学びます。
リアルタイムトランスポート WebRTC、WebSocket、SIP、カスタムトランスポートの中から選択し、元のイベントを直接扱うべき場面を把握します。
SDK が追加する機能
Section titled “SDK が追加する機能”- 一時的なクライアントトークンを使用した、ブラウザーを主眼とする WebRTC のセットアップ
- サーバー側の WebSocket および SIP トランスポートの選択肢
- 自動的な割り込み処理とローカルの会話履歴の更新
- リアルタイムのハンドオフによるマルチエージェントのオーケストレーション
- 関数ツール、ホスト型 MCP ツール、承認、委譲パターン
- リアルタイムの音声対話における出力ガードレールとトレーシングのサポート
次に読むページ
Section titled “次に読むページ”| 目的 | 参照先 |
|---|---|
| WebRTC と一時トークンでブラウザークライアントを安全に接続する | クイックスタート |
| セッションのライフサイクル、VAD、割り込み、画像入力、ツール、履歴を理解する | 音声エージェントの構築 |
| WebRTC、WebSocket、SIP、カスタムトランスポートの中から選ぶ | リアルタイムトランスポート |
| Twilio 上で電話やテレフォニーの体験を提供する | Twilio 上の音声エージェント |
| Cloudflare Workers やその他の workerd ランタイムから接続する | Cloudflare 上の音声エージェント |
音声対音声モデルを選ぶ理由
Section titled “音声対音声モデルを選ぶ理由”音声対音声モデルはユーザーの音声を直接処理するため、ターンごとに音声認識、テキストによる推論、音声合成をつなぐ個別の処理チェーンを構築する必要がありません。これにより、遅延が抑えられ、リアルタイムアプリケーションでの割り込み、テキストと音声を組み合わせた入力、ツール呼び出しがより自然になります。
