トレーシング
Agents SDK には組み込みのトレーシングが含まれており、エージェント実行中のイベントを包括的に記録します。これには、LLM の生成、ツール呼び出し、ハンドオフ、ガードレール、さらに発生したカスタムイベントも含まれます。Traces ダッシュボード を使用すると、開発中および本番環境でワークフローをデバッグ、可視化、監視できます。
Note
トレーシングはデフォルトで有効です。無効にする一般的な方法は 3 つあります。
- 環境変数
OPENAI_AGENTS_DISABLE_TRACING=1を設定して、グローバルにトレーシングを無効化できます set_tracing_disabled(True)を使って、コード内でグローバルにトレーシングを無効化できますagents.run.RunConfig.tracing_disabledをTrueに設定して、単一の実行に対してトレーシングを無効化できます
OpenAI の API を使用し、Zero Data Retention ( ZDR ) ポリシーのもとで運用している組織では、トレーシングは利用できません。
トレースとスパン
- トレース は、1 つの「ワークフロー」における単一のエンドツーエンド操作を表します。トレースは Span で構成されます。トレースには次のプロパティがあります。
workflow_name: 論理的なワークフローまたはアプリです。たとえば、「Code generation」や「Customer service」などです。trace_id: トレースの一意な ID です。指定しない場合は自動生成されます。形式はtrace_<32_alphanumeric>である必要があります。group_id: オプションのグループ ID で、同じ会話内の複数のトレースを関連付けるために使用します。たとえば、チャットスレッド ID を使用できます。disabled: True の場合、トレースは記録されません。metadata: トレースのオプションのメタデータです。
- スパン は、開始時刻と終了時刻を持つ操作を表します。スパンには次のものがあります。
started_atとended_atのタイムスタンプ。trace_id: そのスパンが属するトレースを表しますparent_id: このスパンの親 Span を指します(存在する場合)span_data: Span に関する情報です。たとえば、AgentSpanDataには Agent に関する情報が、GenerationSpanDataには LLM 生成に関する情報が含まれます。
デフォルトのトレーシング
デフォルトでは、SDK は次のものをトレースします。
Runner.{run, run_sync, run_streamed}()全体がtrace()でラップされます。- エージェントが実行されるたびに、
agent_span()でラップされます - LLM の生成は
generation_span()でラップされます - 関数ツールの各呼び出しは
function_span()でラップされます - ガードレールは
guardrail_span()でラップされます - ハンドオフは
handoff_span()でラップされます - 音声入力( speech-to-text )は
transcription_span()でラップされます - 音声出力( text-to-speech )は
speech_span()でラップされます - 関連する音声スパンは
speech_group_span()の配下になる場合があります
デフォルトでは、トレース名は「Agent workflow」です。trace を使用する場合はこの名前を設定できます。また、RunConfig を使って名前やその他のプロパティを設定することもできます。
さらに、カスタムトレースプロセッサー を設定して、トレースを他の送信先へ送ることもできます(置き換え先または補助的な送信先として)。
長時間実行ワーカーと即時エクスポート
デフォルトの BatchTraceProcessor は、数秒ごとにバックグラウンドでトレースをエクスポートします。あるいは、インメモリキューがサイズのしきい値に達した場合はそれより早くエクスポートし、さらにプロセス終了時には最終フラッシュも実行します。Celery、RQ、Dramatiq、FastAPI のバックグラウンドタスクなどの長時間実行ワーカーでは、通常は追加コードなしでトレースが自動的にエクスポートされますが、各ジョブの完了直後には Traces ダッシュボードに表示されないことがあります。
作業単位の終了時に即時配信を保証したい場合は、トレースコンテキストを抜けた後で flush_traces() を呼び出してください。
from agents import Runner, flush_traces, trace
@celery_app.task
def run_agent_task(prompt: str):
try:
with trace("celery_task"):
result = Runner.run_sync(agent, prompt)
return result.final_output
finally:
flush_traces()
from fastapi import BackgroundTasks, FastAPI
from agents import Runner, flush_traces, trace
app = FastAPI()
def process_in_background(prompt: str) -> None:
try:
with trace("background_job"):
Runner.run_sync(agent, prompt)
finally:
flush_traces()
@app.post("/run")
async def run(prompt: str, background_tasks: BackgroundTasks):
background_tasks.add_task(process_in_background, prompt)
return {"status": "queued"}
flush_traces() は、現在バッファされているトレースとスパンがエクスポートされるまでブロックするため、不完全なトレースをフラッシュしないよう、trace() が閉じた後に呼び出してください。デフォルトのエクスポート遅延で問題ない場合は、この呼び出しは省略できます。
上位レベルのトレース
複数の run() 呼び出しを 1 つのトレースに含めたい場合があります。その場合は、コード全体を trace() でラップできます。
from agents import Agent, Runner, trace
async def main():
agent = Agent(name="Joke generator", instructions="Tell funny jokes.")
with trace("Joke workflow"): # (1)!
first_result = await Runner.run(agent, "Tell me a joke")
second_result = await Runner.run(agent, f"Rate this joke: {first_result.final_output}")
print(f"Joke: {first_result.final_output}")
print(f"Rating: {second_result.final_output}")
- 2 回の
Runner.run呼び出しはwith trace()でラップされているため、個別に 2 つのトレースを作成するのではなく、全体のトレースの一部になります。
トレースの作成
trace() 関数を使用してトレースを作成できます。トレースは開始と終了が必要です。その方法は 2 つあります。
- 推奨: トレースをコンテキストマネージャーとして使用します。つまり、
with trace(...) as my_traceのように使います。これにより、適切なタイミングでトレースが自動的に開始および終了されます。 trace.start()とtrace.finish()を手動で呼び出すこともできます。
現在のトレースは、Python の contextvar を通じて追跡されます。これは、並行実行でも自動的に動作することを意味します。トレースを手動で開始または終了する場合は、現在のトレースを更新するために start() / finish() に mark_as_current と reset_current を渡す必要があります。
スパンの作成
各種 *_span() メソッドを使用してスパンを作成できます。一般に、スパンを手動で作成する必要はありません。カスタムのスパン情報を追跡するために custom_span() 関数も利用できます。
スパンは自動的に現在のトレースの一部となり、最も近い現在のスパンの配下にネストされます。これは Python の contextvar によって追跡されます。
機微データ
一部のスパンでは、機微データとなり得る情報を取得する場合があります。
generation_span() は LLM 生成の入出力を保存し、function_span() は関数呼び出しの入出力を保存します。これらには機微データが含まれる可能性があるため、RunConfig.trace_include_sensitive_data によってそのデータの取得を無効化できます。
同様に、音声スパンにはデフォルトで入力音声と出力音声の base64 エンコード済み PCM データが含まれます。VoicePipelineConfig.trace_include_sensitive_audio_data を設定することで、この音声データの取得を無効化できます。
デフォルトでは、trace_include_sensitive_data は True です。コードを書かずにデフォルト値を設定するには、アプリの実行前に環境変数 OPENAI_AGENTS_TRACE_INCLUDE_SENSITIVE_DATA を true/1 または false/0 に設定してください。
カスタムトレーシングプロセッサー
トレーシングの高レベルなアーキテクチャは次のとおりです。
- 初期化時に、トレースの作成を担当するグローバルな [
TraceProvider][agents.tracing.setup.TraceProvider] を作成します。 TraceProviderをBatchTraceProcessorで設定します。このプロセッサーは、トレース / スパンをバッチでBackendSpanExporterに送信し、これがスパンとトレースをバッチで OpenAI バックエンドへエクスポートします。
このデフォルト設定をカスタマイズして、別のバックエンドまたは追加のバックエンドにトレースを送信したり、エクスポーターの動作を変更したりするには、2 つの方法があります。
add_trace_processor()を使うと、準備が整ったトレースとスパンを受け取る 追加の トレースプロセッサーを追加できます。これにより、トレースを OpenAI のバックエンドへ送信することに加えて、独自の処理も行えます。set_trace_processors()を使うと、デフォルトのプロセッサーを独自のトレースプロセッサーで 置き換え できます。これは、そうした処理を行うTracingProcessorを含めない限り、トレースが OpenAI バックエンドに送信されないことを意味します。
non-OpenAI モデルでのトレーシング
OpenAI 以外のモデルでも、OpenAI API キーを使用することで、トレーシングを無効化することなく OpenAI Traces ダッシュボードで無料のトレーシングを有効にできます。アダプターの選択と設定上の注意点については、Models ガイドの Third-party adapters セクションを参照してください。
import os
from agents import set_tracing_export_api_key, Agent, Runner
from agents.extensions.models.any_llm_model import AnyLLMModel
tracing_api_key = os.environ["OPENAI_API_KEY"]
set_tracing_export_api_key(tracing_api_key)
model = AnyLLMModel(
model="your-provider/your-model-name",
api_key="your-api-key",
)
agent = Agent(
name="Assistant",
model=model,
)
単一の実行に対してのみ別のトレーシングキーが必要な場合は、グローバルエクスポーターを変更するのではなく、RunConfig 経由で渡してください。
from agents import Runner, RunConfig
await Runner.run(
agent,
input="Hello",
run_config=RunConfig(tracing={"api_key": "sk-tracing-123"}),
)
追加の注記
- Openai Traces ダッシュボードで無料トレースを表示できます。
エコシステム統合
以下のコミュニティおよびベンダー統合は、OpenAI Agents SDK のトレーシング機能をサポートしています。