跳转到内容

语音智能体概述

语音智能体

语音智能体让您能够基于 OpenAI 语音到语音模型构建低延迟的语音交互界面。SDK 保留了 Realtime API 的概念模型,同时通过 RealtimeAgent、RealtimeSession 和传输辅助组件封装原始事件流,让工具、护栏、交接和会话历史更易于使用。

在底层,官方 Realtime API 与 WebRTC、实时对话和语音活动检测指南中的 Realtime 概念依然适用。Agents SDK 在该 API 之上添加了 TypeScript 优先的封装层,让您能够专注于产品逻辑,而不必从头构建传输和事件处理机制。

  • 通过临时客户端令牌,提供以浏览器为优先的 WebRTC 配置。
  • 服务端 WebSocket 和 SIP 传输选项。
  • 自动处理中断并更新本地对话历史。
  • 通过实时交接实现多智能体编排。
  • 函数工具、托管 MCP 工具、审批和委派模式。
  • 为实时语音交互提供输出护栏和追踪支持。
如果您需要…请阅读
使用 WebRTC 和临时令牌安全地连接浏览器客户端快速开始
了解会话生命周期、VAD、中断、图像输入、工具和历史记录构建语音智能体
在 WebRTC、WebSocket、SIP 和自定义传输机制之间做出选择传输机制
在 Twilio 上运行电话或电信服务体验Twilio 上的语音智能体
从 Cloudflare Workers 或其他 workerd 运行时连接Cloudflare 上的语音智能体

语音到语音模型直接处理用户音频,因此您无需为每轮交互单独构建语音转文本、文本推理和文本转语音的处理链。这能降低延迟,让实时应用中的中断、文本与语音混合输入以及工具调用更加自然。

语音到语音模型