トレーシング
Agents SDK には組み込みのトレーシングが含まれており、エージェント実行中のイベント(LLM 生成、ツール呼び出し、ハンドオフ、ガードレール、さらには発生したカスタムイベントまで)を包括的に記録します。Traces ダッシュボードを使用すると、開発中および本番環境でワークフローをデバッグ、可視化、監視できます。
Note
トレーシングはデフォルトで有効です。一般的には、次の 3 つの方法で無効化できます:
- 環境変数
OPENAI_AGENTS_DISABLE_TRACING=1を設定すると、トレーシングをグローバルに無効化できます - コード内で
set_tracing_disabled(True)を使用すると、トレーシングをグローバルに無効化できます agents.run.RunConfig.tracing_disabledをTrueに設定すると、単一の実行についてトレーシングを無効化できます
OpenAI の API を使用し、Zero Data Retention (ZDR) ポリシーの下で運用されている組織では、トレーシングは利用できません。
トレースとスパン
- トレース は、「ワークフロー」の単一のエンドツーエンド操作を表します。スパンで構成されます。トレースには次のプロパティがあります:
workflow_name: 論理的なワークフローまたはアプリです。たとえば「コード生成」や「カスタマーサービス」です。trace_id: トレースの一意の ID です。渡さない場合は自動生成されます。形式はtrace_<32_alphanumeric>である必要があります。group_id: 任意のグループ ID で、同じ会話の複数のトレースをリンクするために使用します。たとえば、チャットスレッド ID を使用できます。disabled: True の場合、トレースは記録されません。metadata: トレースの任意のメタデータです。
- スパン は、開始時刻と終了時刻を持つ操作を表します。スパンには次があります:
started_atとended_atのタイムスタンプ。trace_id。所属するトレースを表しますparent_id。このスパンの親スパン(存在する場合)を指しますspan_data。スパンに関する情報です。たとえば、AgentSpanDataはエージェントに関する情報を含み、GenerationSpanDataは LLM 生成に関する情報を含みます。
デフォルトのトレーシング
SDK はデフォルトで次をトレースします:
Runner.{run, run_sync, run_streamed}()全体がtrace()でラップされます。- エージェントが実行されるたびに、
agent_span()でラップされます - LLM 生成は
generation_span()でラップされます - 関数ツール呼び出しは、それぞれ
function_span()でラップされます - ガードレールは
guardrail_span()でラップされます - ハンドオフは
handoff_span()でラップされます - 音声入力(音声からテキスト)は
transcription_span()でラップされます - 音声出力(テキストから音声)は
speech_span()でラップされます - 関連する音声スパンは、
speech_group_span()の子として配置される場合があります
デフォルトでは、トレースには "Agent workflow" という名前が付けられます。trace を使用する場合はこの名前を設定できます。または、RunConfig で名前やその他のプロパティを設定できます。
さらに、トレースを別の送信先(置き換え先または副次的な送信先)にプッシュするために、カスタムトレーシングプロセッサーを設定できます。
長時間実行ワーカーと即時エクスポート
デフォルトの BatchTraceProcessor は、数秒ごとにバックグラウンドでトレースをエクスポートします。
また、インメモリキューがサイズトリガーに達した場合はそれより早くエクスポートし、
プロセス終了時には最終的なフラッシュも実行します。Celery、RQ、Dramatiq、FastAPI のバックグラウンドタスクのような長時間実行ワーカーでは、通常、追加コードなしでトレースが自動的にエクスポートされますが、各ジョブの完了直後に Traces ダッシュボードに表示されるとは限りません。
作業単位の終了時に即時配信の保証が必要な場合は、
トレースコンテキストを抜けた後に flush_traces() を呼び出してください。
from agents import Runner, flush_traces, trace
@celery_app.task
def run_agent_task(prompt: str):
try:
with trace("celery_task"):
result = Runner.run_sync(agent, prompt)
return result.final_output
finally:
flush_traces()
from fastapi import BackgroundTasks, FastAPI
from agents import Runner, flush_traces, trace
app = FastAPI()
def process_in_background(prompt: str) -> None:
try:
with trace("background_job"):
Runner.run_sync(agent, prompt)
finally:
flush_traces()
@app.post("/run")
async def run(prompt: str, background_tasks: BackgroundTasks):
background_tasks.add_task(process_in_background, prompt)
return {"status": "queued"}
flush_traces() は、現在バッファリングされているトレースとスパンが
エクスポートされるまでブロックします。そのため、構築途中のトレースをフラッシュしないよう、
trace() が閉じた後に呼び出してください。デフォルトのエクスポート遅延で許容できる場合、この呼び出しは省略できます。
上位レベルのトレース
場合によっては、run() への複数の呼び出しを 1 つのトレースの一部にしたいことがあります。これはコード全体を trace() でラップすることで実現できます。
from agents import Agent, Runner, trace
async def main():
agent = Agent(name="Joke generator", instructions="Tell funny jokes.")
with trace("Joke workflow"): # (1)!
first_result = await Runner.run(agent, "Tell me a joke")
second_result = await Runner.run(agent, f"Rate this joke: {first_result.final_output}")
print(f"Joke: {first_result.final_output}")
print(f"Rating: {second_result.final_output}")
Runner.runへの 2 つの呼び出しはwith trace()でラップされているため、個別の実行は 2 つのトレースを作成するのではなく、全体のトレースの一部になります。
トレースの作成
トレースを作成するには、trace() 関数を使用できます。トレースは開始し、終了する必要があります。これには 2 つの選択肢があります:
- 推奨: トレースをコンテキストマネージャーとして使用します。つまり、
with trace(...) as my_traceのようにします。これにより、適切なタイミングで自動的にトレースが開始・終了されます。 trace.start()とtrace.finish()を手動で呼び出すこともできます。
現在のトレースは Python の contextvar によって追跡されます。つまり、並行処理でも自動的に動作します。手動でトレースを開始/終了する場合は、現在のトレースを更新するために、start()/finish() に mark_as_current と reset_current を渡す必要があります。
スパンの作成
スパンを作成するには、さまざまな *_span() メソッドを使用できます。一般に、スパンを手動で作成する必要はありません。カスタムスパン情報を追跡するために、custom_span() 関数を利用できます。
スパンは自動的に現在のトレースの一部になり、Python の contextvar で追跡される最も近い現在のスパンの配下にネストされます。
機微データ
一部のスパンは、機微データを取得する可能性があります。
generation_span() は LLM 生成の入力/出力を保存し、function_span() は関数呼び出しの入力/出力を保存します。これらには機微データが含まれる可能性があるため、RunConfig.trace_include_sensitive_data 経由でそのデータの取得を無効化できます。
同様に、音声スパンにはデフォルトで入力音声と出力音声の base64 エンコードされた PCM データが含まれます。この音声データの取得は、VoicePipelineConfig.trace_include_sensitive_audio_data を設定することで無効化できます。
デフォルトでは、trace_include_sensitive_data は True です。アプリを実行する前に、環境変数 OPENAI_AGENTS_TRACE_INCLUDE_SENSITIVE_DATA を true/1 または false/0 にエクスポートすることで、コードを書かずにデフォルト値を設定できます。
カスタムトレーシングプロセッサー
トレーシングの高レベルアーキテクチャは次のとおりです:
- 初期化時に、トレースの作成を担うグローバルな [
TraceProvider][agents.tracing.setup.TraceProvider] を作成します。 - トレース/スパンをバッチで
BackendSpanExporterに送信するBatchTraceProcessorでTraceProviderを設定します。BackendSpanExporterは、スパンとトレースをバッチで OpenAI バックエンドにエクスポートします。
トレースを代替または追加のバックエンドに送信したり、エクスポーターの動作を変更したりするために、このデフォルト設定をカスタマイズするには、2 つの選択肢があります:
add_trace_processor()を使用すると、トレースとスパンの準備ができた時点でそれらを受け取る 追加 のトレースプロセッサーを追加できます。これにより、OpenAI バックエンドへトレースを送信することに加えて、独自の処理を行えます。set_trace_processors()を使用すると、デフォルトプロセッサーを独自のトレースプロセッサーに 置き換える ことができます。つまり、その処理を行うTracingProcessorを含めない限り、トレースは OpenAI バックエンドに送信されません。
OpenAI 以外のモデルにおけるトレーシング
OpenAI 以外のモデルで OpenAI API キーを使用すると、トレーシングを無効にすることなく、OpenAI Traces ダッシュボードで無料のトレーシングを有効化できます。アダプターの選択とセットアップ上の注意点については、モデルガイドの サードパーティアダプター セクションを参照してください。
import os
from agents import set_tracing_export_api_key, Agent, Runner
from agents.extensions.models.any_llm_model import AnyLLMModel
tracing_api_key = os.environ["OPENAI_API_KEY"]
set_tracing_export_api_key(tracing_api_key)
model = AnyLLMModel(
model="your-provider/your-model-name",
api_key="your-api-key",
)
agent = Agent(
name="Assistant",
model=model,
)
1 回の実行にのみ別のトレーシングキーが必要な場合は、グローバルエクスポーターを変更する代わりに RunConfig 経由で渡してください。
from agents import Runner, RunConfig
await Runner.run(
agent,
input="Hello",
run_config=RunConfig(tracing={"api_key": "sk-tracing-123"}),
)
補足事項
- OpenAI Traces ダッシュボードで無料のトレースを確認できます。
エコシステム連携
以下のコミュニティおよびベンダー連携は、OpenAI Agents SDK のトレーシングインターフェイスをサポートしています。
外部トレーシングプロセッサー一覧
- Weights & Biases
- Arize-Phoenix
- Future AGI
- MLflow (セルフホスト/OSS)
- MLflow (Databricks ホスト版)
- Braintrust
- Pydantic Logfire
- AgentOps
- Scorecard
- Respan
- LangSmith
- Maxim AI
- Comet Opik
- Langfuse
- Langtrace
- Okahu-Monocle
- Galileo
- Portkey AI
- LangDB AI
- Agenta
- PostHog
- Traccia
- PromptLayer
- HoneyHive
- Asqav
- Datadog
- Latitude