トレーシング
Agents SDK には組み込みのトレーシングがあり、エージェントの実行中に発生するイベント( LLM の生成、ツール呼び出し、ハンドオフ、ガードレール、カスタムイベント)を包括的に記録します。Traces ダッシュボード を使って、開発中および本番環境でワークフローをデバッグ、可視化、監視できます。
Note
トレーシングはデフォルトで有効です。トレーシングを無効化する方法は 2 つあります:
- 環境変数
OPENAI_AGENTS_DISABLE_TRACING=1
を設定して、トレーシングをグローバルに無効化できます - 単一の実行に対しては、
agents.run.RunConfig.tracing_disabled
をTrue
に設定して無効化できます
OpenAI の API を使用し Zero Data Retention (ZDR) ポリシーで運用している組織では、トレーシングは利用できません。
トレースとスパン
- トレース は「ワークフロー」の単一のエンドツーエンドの処理を表します。スパンから構成されます。トレースには次のプロパティがあります:
workflow_name
: 論理的なワークフローまたはアプリです。例: "Code generation" や "Customer service"trace_id
: トレースの一意の ID。指定しない場合は自動生成されます。形式はtrace_<32_alphanumeric>
である必要があります。group_id
: 同一の会話からの複数のトレースを関連付けるための任意のグループ ID。たとえば、チャットスレッドの ID を使用できます。disabled
: True の場合、このトレースは記録されません。metadata
: トレースの任意のメタデータ。
- スパン は開始時刻と終了時刻を持つ処理を表します。スパンには次があります:
started_at
とended_at
のタイムスタンプ- 所属するトレースを示す
trace_id
- 親スパン(ある場合)を指す
parent_id
- スパンに関する情報である
span_data
。たとえば、AgentSpanData
はエージェントに関する情報、GenerationSpanData
は LLM 生成に関する情報などを含みます。
デフォルトのトレーシング
デフォルトでは、 SDK は次をトレースします:
- 全体の
Runner.{run, run_sync, run_streamed}()
はtrace()
でラップされます - エージェントが実行されるたびに
agent_span()
でラップされます - LLM の生成は
generation_span()
でラップされます - 関数ツールの呼び出しはそれぞれ
function_span()
でラップされます - ガードレールは
guardrail_span()
でラップされます - ハンドオフは
handoff_span()
でラップされます - 音声入力(音声認識)は
transcription_span()
でラップされます - 音声出力(音声合成)は
speech_span()
でラップされます - 関連する音声スパンは
speech_group_span()
の下に親子関係で配置されることがあります
デフォルトでは、トレース名は "Agent workflow" です。trace
を使用する場合はこの名前を設定できますし、RunConfig
で名前やその他のプロパティを設定することもできます。
さらに、カスタムトレースプロセッサー を設定して、トレースを他の宛先へ送信(置き換えまたはセカンダリの宛先として)できます。
上位レベルのトレース
run()
を複数回呼び出す場合、それらを 1 つのトレースに含めたいことがあります。その場合は、コード全体を trace()
でラップします。
from agents import Agent, Runner, trace
async def main():
agent = Agent(name="Joke generator", instructions="Tell funny jokes.")
with trace("Joke workflow"): # (1)!
first_result = await Runner.run(agent, "Tell me a joke")
second_result = await Runner.run(agent, f"Rate this joke: {first_result.final_output}")
print(f"Joke: {first_result.final_output}")
print(f"Rating: {second_result.final_output}")
Runner.run
への 2 回の呼び出しがwith trace()
でラップされているため、個々の実行は 2 つのトレースを作成するのではなく、全体のトレースの一部になります。
トレースの作成
trace()
関数を使ってトレースを作成できます。トレースは開始と終了が必要です。方法は 2 つあります:
- 推奨:
with trace(...) as my_trace
のように、コンテキストマネージャーとして使用します。これにより、適切なタイミングで自動的に開始および終了されます。 trace.start()
とtrace.finish()
を手動で呼び出すこともできます。
現在のトレースは Python の contextvar
で管理されます。これは自動的に並行処理に対応することを意味します。トレースを手動で開始/終了する場合、現在のトレースを更新するために start()
/finish()
に mark_as_current
と reset_current
を渡す必要があります。
スパンの作成
さまざまな *_span()
メソッドを使ってスパンを作成できます。一般的には、スパンを手動で作成する必要はありません。カスタムスパン情報を追跡するための custom_span()
関数も利用できます。
スパンは自動的に現在のトレースの一部となり、 Python の contextvar
で管理される最も近い現在のスパンの下にネストされます。
機微なデータ
一部のスパンは、機微なデータを含む可能性があります。
generation_span()
は LLM 生成の入力/出力を保存し、function_span()
は関数呼び出しの入力/出力を保存します。機微なデータが含まれる可能性があるため、RunConfig.trace_include_sensitive_data
によってそれらのデータの取得を無効化できます。
同様に、音声スパンにはデフォルトで入力および出力音声の base64 エンコードされた PCM データが含まれます。この音声データの取得は、VoicePipelineConfig.trace_include_sensitive_audio_data
を設定することで無効化できます。
カスタムトレーシングプロセッサー
トレーシングの高レベルなアーキテクチャは次のとおりです:
- 初期化時に、トレースを作成する役割を持つグローバルな
TraceProvider
を作成します。 TraceProvider
にBatchTraceProcessor
を設定し、スパン/トレースをバッチでBackendSpanExporter
に送信します。BackendSpanExporter
はスパンとトレースをバッチで OpenAI のバックエンドにエクスポートします。
このデフォルト設定をカスタマイズして、別のバックエンドや追加のバックエンドへ送信したり、エクスポーターの挙動を変更したりするには、次の 2 つの方法があります:
add_trace_processor()
は、スパンとトレースが準備でき次第受け取る 追加の トレースプロセッサーを追加できます。これにより、 OpenAI のバックエンドへの送信に加えて独自の処理を行えます。set_trace_processors()
は、デフォルトのプロセッサーを独自のトレースプロセッサーで 置き換え られます。これを行うと、 OpenAI のバックエンドにトレースは送信されません。送信するには、その役割を担うTracingProcessor
を含める必要があります。
Non-OpenAI モデルでのトレーシング
トレーシングを無効化することなく、非 OpenAI モデルでも OpenAI の API キーを使用して、 OpenAI Traces ダッシュボードで無料のトレーシングを有効化できます。
import os
from agents import set_tracing_export_api_key, Agent, Runner
from agents.extensions.models.litellm_model import LitellmModel
tracing_api_key = os.environ["OPENAI_API_KEY"]
set_tracing_export_api_key(tracing_api_key)
model = LitellmModel(
model="your-model-name",
api_key="your-api-key",
)
agent = Agent(
name="Assistant",
model=model,
)
注意
- 無料のトレースは OpenAI Traces ダッシュボードで確認できます。