语音智能体概述

语音智能体让您能够基于 OpenAI 语音到语音模型构建低延迟的语音交互界面。SDK 保留了 Realtime API 的概念模型,同时通过 RealtimeAgent、RealtimeSession 和传输辅助组件封装原始事件流,让工具、护栏、交接和会话历史更易于使用。
在底层,官方 Realtime API 与 WebRTC、实时对话和语音活动检测指南中的 Realtime 概念依然适用。Agents SDK 在该 API 之上添加了 TypeScript 优先的封装层,让您能够专注于产品逻辑,而不必从头构建传输和事件处理机制。
快速开始 使用 OpenAI Agents SDK,在几分钟内构建您的第一个实时语音助手。
构建语音智能体 了解 SDK 中的会话生命周期、VAD、中断、多模态输入、工具和历史记录的工作方式。
传输机制 在 WebRTC、WebSocket、SIP 或自定义传输机制之间做出选择,并了解何时需要使用底层原始事件。
SDK 的增强功能
Section titled “SDK 的增强功能”- 通过临时客户端令牌,提供以浏览器为优先的 WebRTC 配置。
- 服务端 WebSocket 和 SIP 传输选项。
- 自动处理中断并更新本地对话历史。
- 通过实时交接实现多智能体编排。
- 函数工具、托管 MCP 工具、审批和委派模式。
- 为实时语音交互提供输出护栏和追踪支持。
后续页面选择
Section titled “后续页面选择”| 如果您需要… | 请阅读 |
|---|---|
| 使用 WebRTC 和临时令牌安全地连接浏览器客户端 | 快速开始 |
| 了解会话生命周期、VAD、中断、图像输入、工具和历史记录 | 构建语音智能体 |
| 在 WebRTC、WebSocket、SIP 和自定义传输机制之间做出选择 | 传输机制 |
| 在 Twilio 上运行电话或电信服务体验 | Twilio 上的语音智能体 |
| 从 Cloudflare Workers 或其他 workerd 运行时连接 | Cloudflare 上的语音智能体 |
语音到语音的优势
Section titled “语音到语音的优势”语音到语音模型直接处理用户音频,因此您无需为每轮交互单独构建语音转文本、文本推理和文本转语音的处理链。这能降低延迟,让实时应用中的中断、文本与语音混合输入以及工具调用更加自然。
