リアルタイムエージェントの概要
リアルタイムエージェントを使用すると、OpenAI の音声対音声モデル上に低レイテンシーの音声インターフェースを構築できます。SDK は Realtime API のメンタルモデルを維持しながら、元のイベントフローを RealtimeAgent、RealtimeSession、トランスポートヘルパーでラップすることで、ツール、ガードレール、ハンドオフ、セッション履歴を扱いやすくします。
内部では、公式ガイドの WebRTC を使用した Realtime API、リアルタイム会話、音声アクティビティ検出で説明されているものと同じリアルタイムのコンセプトが引き続き適用されます。リアルタイムエージェント向け SDK は、その API 上に TypeScript ファーストのレイヤーを追加するため、トランスポートやイベント処理を一から再構築することなく、プロダクトロジックに集中できます。
クイックスタート OpenAI Agents SDK を使用して、ほんの数分ではじめてのリアルタイム音声アシスタントを構築します。
リアルタイムエージェントの構築 セッションのライフサイクル、VAD、割り込み、マルチモーダル入力、ツール、履歴が SDK 内でどのように機能するかを学びます。
リアルタイムトランスポート WebRTC、WebSocket、SIP、カスタムトランスポートから選択し、元のイベントを直接扱うべきタイミングを理解します。
SDK が追加する機能
Section titled “SDK が追加する機能”- 一時的なクライアントトークンを使用した、ブラウザファーストの WebRTC セットアップ
- サーバー側の WebSocket および SIP トランスポートオプション
- 割り込みの自動処理とローカルの会話履歴の更新
- リアルタイムハンドオフによるエージェントオーケストレーション
- 関数ツール、ホスト型 MCP ツール、承認、委任パターン
- ライブ音声対話向けの出力ガードレールとトレーシングのサポート
次のページの選択
Section titled “次のページの選択”| 必要なこと | 参照先 |
|---|---|
| WebRTC と一時トークンを使用して、ブラウザクライアントを安全に接続する | クイックスタート |
| セッションのライフサイクル、VAD、割り込み、画像入力、ツール、履歴を理解する | リアルタイムエージェントの構築 |
| WebRTC、WebSocket、SIP、カスタムトランスポートから選択する | リアルタイムトランスポート |
| Twilio 上で電話またはテレフォニー体験を実行する | Twilio 上の Realtime Agent |
| Cloudflare Workers またはその他の workerd ランタイムから接続する | Cloudflare 上の Realtime Agent |
音声対音声を使用する理由
Section titled “音声対音声を使用する理由”音声対音声モデルはユーザーの音声を直接処理するため、ターンごとに音声認識、テキスト推論、音声合成を個別につなぐ処理を構築する必要がありません。これによりレイテンシーが抑えられ、リアルタイムアプリケーションでの割り込み、テキストと音声を組み合わせた入力、ツール呼び出しがより自然になります。
