콘텐츠로 이동

음성 에이전트 개요

Realtime Agents

Voice Agents는 OpenAI speech-to-speech 모델을 사용해 실시간 음성 채팅을 제공합니다. 이 모델은 오디오, 텍스트, 도구 호출의 스트리밍을 지원하며, 음성/전화 고객 지원, 모바일 앱 경험, 음성 채팅과 같은 애플리케이션에 적합합니다.

Voice Agents SDK는 OpenAI Realtime API를 위한 TypeScript 클라이언트를 제공합니다.

  • WebSocket 또는 WebRTC로 연결
  • 브라우저와 백엔드 연결 모두에서 사용 가능
  • 오디오 처리 및 인터럽션(중단 처리)
  • 핸드오프를 통한 멀티 에이전트 오케스트레이션
  • 도구 정의 및 호출
  • 모델 출력을 모니터링하는 맞춤형 가드레일
  • 스트리밍 이벤트 콜백
  • 텍스트 및 음성 에이전트 모두에 동일한 컴포넌트 재사용

speech-to-speech 모델을 사용하면 모델이 음성을 실시간으로 처리하는 능력을 활용할 수 있으며, 모델이 동작한 뒤 텍스트로 전사하고 다시 음성으로 변환할 필요가 없습니다.

speech-to-speech 모델