[Discussion] AI SDKのエージェントトレース: 現状とLangChainとの比較

[tuboihirokidesu]

概要

AI SDKのエージェントトレース機能（特にToolLoopAgent）は、LangChainと比較して発展途上の状態です。このディスカッションの目的は：

1. 現状のギャップを文書化する
2. コミュニティからのフィードバックを集める
3. Telemetry v2ロードマップ（Telemetry v2 #8888）への参考情報を提供する

---

背景

AIエージェントのオブザーバビリティを検討する中で、LangChainのDeepAgents + Langfuse統合とAI SDKのtelemetryを比較しました。両者には大きな差があります。

LangChain DeepAgentsのトレース例

LangChainは階層的なトレース可視化を標準で提供しています：

Agent Run
├── Planning Step
├── Tool: web_search
│   ├── Input: "query"
│   └── Output: [results...]
├── Reasoning Step
├── Tool: summarize
└── Final Answer

参考: Langfuse + LangChain DeepAgents

---

AI SDKの現状のギャップ

1. エージェントループの階層的可視化

機能	LangChain	AI SDK
ネストされたトレース構造	標準対応	ToolLoopAgentでは未ドキュメント
計画/推論ステップ	可視化	不完全（#8823）
エージェントループ全体を単一トレースに	対応	不明

関連Issue: #10629 - ToolLoopAgentのトレース方法が不明確で、ドキュメントが不足しているという報告

2. サブエージェントのネスト

LangChain DeepAgentsはマルチエージェント階層をサポートしています：

Supervisor Agent
├── Research Agent (sub-agent)
│   └── Tool: search
├── Critique Agent (sub-agent)
│   └── Tool: analyze
└── Synthesized Answer

AI SDK: マルチエージェントのトレースネストに関する機能やドキュメントはありません。

3. トレースに影響する既知のバグ

Issue	内容	状態
#7150	v5でツール呼び出しのinput/outputがnullになる	Open
#8897	generateTextでツール呼び出しが独立したトレースになる（streamTextでは正常）	Open
#5414	並列LLM呼び出し時のobservation不整合	Open
#8823	最終的なアシスタントの推論ステップがテレメトリに記録されない	Open

4. 統合の複雑さ

LangChain - 1行：

agent.invoke(config={"callbacks": [langfuse_handler]})

AI SDK - 複数ステップ：

1. instrumentation.tsでOpenTelemetryを設定
2. LangfuseSpanProcessorを登録
3. 各関数呼び出しにexperimental_telemetry: { isEnabled: true }を追加
4. ストリーミング時はforceFlush()を呼び出す

---

比較まとめ

機能	LangChain	AI SDK
エージェントループの階層化	対応	未ドキュメント（#10629）
サブエージェントのネスト	対応	未対応
並列ツール呼び出し	対応	バグあり（#8897, #5414）
ツールのinput/output	対応	nullになる（#7150）
統合の簡便さ	1行	複数ステップ
推論ステップの可視化	対応	不完全（#8823）

---

議論したいこと

1. Telemetry v2のスコープ: Telemetry v2で階層的なエージェントトレースは計画されていますか？

2. コミュニティのワークアラウンド: ToolLoopAgentのトレースに関するワークアラウンドを見つけた方はいますか？

3. 専用パッケージ: Langfuseのようなシンプルさを持つ上位レベルの@ai-sdk/telemetryパッケージの検討はありますか？

4. ドキュメント: エージェントオブザーバビリティのパターンをドキュメント化する予定はありますか？

---

関連Issue・リソース

Issues:

• #10629 - LangSmithでのToolLoopAgentトレースサポート
• #8888 - Telemetry v2ロードマップ
• #2590 - OTEL GenAIセマンティック規約への準拠

ドキュメント:

• AI SDK Telemetry
• AI SDK Agents Overview
• Langfuse + Vercel AI SDK
• Langfuse + LangChain DeepAgents

---

コミュニティやメンテナーからのフィードバックをお待ちしています！

[github-actions[bot]]

This discussion was automatically closed because the community moved to community.vercel.com/ai-sdk