Toolathlon-GYM: ツール使用エージェント向け大規模長期ホライゾン環境

実世界のツール使用において LLM エージェントを学習・評価するのは困難です。既存データセットの多くは、対応するツールの範囲が狭すぎるか、規模が小さすぎるか、あるいは時間とともに変化する外部 API に依存しています。私たちは、503 件のタスク、25 の MCP サーバー、そして豊富なモックデータベースを備えた大規模な自己完結型環境 Toolathlon-GYM を紹介します。評価時に外部 API 呼び出しは不要で、完全にローカルで動作します。

Toolathlon-GYM は、HKUST-NLP による Toolathlon のインフラストラクチャを基盤として拡張されています。タスク形式、評価フレームワーク、MCP サーバーのインターフェース、データベーススキーマ設計はすべて Toolathlon プロジェクトに由来します。このデータセットは同じ形式をより大規模に適用し、学習と評価のために大幅に大きく、より多様なタスク群を生成しています。各タスクでは、エージェントがモック企業データベースからのデータ取得、スプレッドシートレポートの作成、カレンダーイベントのスケジュール設定、要約メールの送信など、エンドツーエンドの目標を、固定された MCP（Model Context Protocol）サーバー群をツールとして用いて完了することが求められます。

すべてのタスクは完全に自動化されています。preprocess/main.py スクリプトが実行前に初期ワークスペース状態をセットアップし、エージェントが提供されたツールを使って処理を行い、evaluation/main.py スクリプトが出力を参照の groundtruth と照合します。人手による採点やライブ外部サービスは一切関与しません。

このデータセットは、実運用で重要となるエージェント能力をストレステストするよう設計されています。異種ツール間のマルチステップ計画、構造化ファイル形式の読み書き、システム間データ同期、固定ステップ予算内での長期タスク完了などです。また、Toolathlon-GYM 環境で実行するための CAMEL-AI フレームワークを用いたサンプルエージェントも提供しています。

タスク構造

503 件のタスクはすべて tasks/finalpool/ にあります。各タスクディレクトリは一貫したレイアウトに従っています。

<task-name>/
├── task_config.json         # エージェントが使用できる MCP サーバー
├── docs/
│   ├── task.md              # エージェントに表示されるタスク説明
│   └── agent_system_prompt.md
├── evaluation/main.py       # 自動評価プログラム
├── preprocess/main.py       # DB 状態のセットアップ（各タスクの前に自動実行）
├── initial_workspace/       # エージェントの作業領域に事前ロードされる入力ファイル
└── groundtruth_workspace/   # 評価用の参照出力

タスク説明（task.md）にはツールやサービスのブランド名は含まれていません。たとえば "Notion"、"Google Calendar"、"Canvas" のようなツール参照は、"knowledge base"、"shared calendar"、"learning management system" のような一般的な説明に置き換えられています。これは元の Toolathlon プロジェクトで使われているものと同じ秘匿規則であり、キーワード認識による近道を防いで、真のツール使用推論を促します。

モックデータベース

接続先: toolathlon_gym @ localhost:5432 (user: eigent, password: camel)

すべてのデータはローカル PostgreSQL データベースから提供され、圧縮ダンプ（db/init.sql.gz、8.2 MB）から初期化されます。実行時に外部 API 呼び出しは行われません。これにより環境は完全に制御可能になり、API レート制限、スキーマ変更、データドリフトの問題を回避できます。

データは、実世界のソースから取得またはそれらを模した形で構成されています。学習管理システム（Learning Management System）データには Kaggle OULAD（Open University Learning Analytics Dataset）、企業 HR データには Kaggle HR Analytics、金融データには Yahoo Finance API、Eコマースデータには Kaggle Amazon product datasets と DummyJSON の組み合わせを使用しています。

データ量の多いスキーマ

データセット統計

合計: 503 タスク

MCP 数の分布

タスクは 4 から 8 の MCP サーバーにまたがり、大半は 4〜7 のツールを必要とします。MCP 数が多いほど、システム間での調整がより必要になります。つまり、エージェントは 1 つのタスク内でより多様なツールを統合し、より長いアクション列を計画し、サービスをまたぐより複雑なデータフローを扱う必要があります。

以下は各層の代表例で、MCP 数に応じてタスクの複雑さと調整要求がどのように増すかを示しています。（元のテキストが長すぎるため、ここではタスクの要約のみを示します。）

4 MCPs — wc-customer-retention-email (woocommerce, excel, emails, filesystem)

オンラインストアで総購入額が最も高い上位 10 名の顧客を特定する。Rank、Name、Email、Orders_Count、Total_Spent の列を持ち、Total_Spent の高い順に並べた VIP_Customer_Report.xlsx という Excel スプレッドシートを作成する。その後、vip-program@store.example.com から、この 10 名それぞれに対して名で呼びかけ、総利用額を明記した個別のお礼メールを送信する。

5 MCPs — 12306-beijing-shanghai-trip-notion-gcal-word (rail_12306, notion, google_calendar, word, emails)

北京と上海の同日往復旅行を計画する。2026 年 3 月 10 日の両方向の高速列車の空席を照会し、時刻を基準に往路と復路の最適な列車を選ぶ。旅行の詳細をチームの knowledge base に記録し、3 つのセクション（Outbound Journey、Return Journey、Booking Summary）を含む Travel_Plan.docx を作成し、移動時間をカバーする 2 つのカレンダーイベントを追加し、travel@consulting.com に確認メールを送信する。

6 MCPs — arxiv-conference-prep (scholarly, arxiv-latex, pptx, google_calendar, emails, filesystem)

RLHF Summit 2026 カンファレンスの準備を行う。人間からのフィードバックによる強化学習（reinforcement learning from human feedback）に関する論文を少なくとも 5 本検索し、それらの LaTeX ソース全文を読んで手法の詳細を抽出する。タイトルスライド、RLHF 分野の概要、論文ごとのスライド、統合スライドを含む PowerPoint プレゼンテーションを作成する。2026 年 4 月 10 日のカンファレンス用カレンダーイベントを追加し、準備資料を共同作業者へメール送付する。

7 MCPs — arxiv-research-pipeline-notion-excel (scholarly, arxiv_local, terminal, excel, notion, filesystem)

大規模言語モデルに関する研究ナレッジベースを構築する。LLM、prompt engineering、in-context learning に関する論文を検索する。terminal を使って、論文のメタデータと本文を読み込み、関連度スコアを計算し、構造化された JSON サマリーを出力する統合スクリプトを実行する。3 つのシート（Paper_Catalog、Method_Comparison、Research_Gaps）を持つ Excel ファイルを作成し、landscape overview、methodology comparison、特定されたギャップを含む研究ダッシュボードを備えた "LLM Research Hub" というタイトルの Notion ページを作成する。

8 MCPs — arxiv-research-workflow-pipeline (scholarly, arxiv-latex, terminal, word, google_calendar, emails, pdf-tools, filesystem)

ニューラルネットワークアーキテクチャに関する最近の論文を検索して PDF をダウンロードすることから始まる文献レビューのパイプラインを構築する。これらの論文の LaTeX ソースファイルを解析して重要な数式を抽出し、構造化された形式に整理する。収集した資料をもとに、適切な学術引用付きの分類済み参考文献一覧を作成する。その後、主要なトレンドを統合し、研究ギャップを特定し、将来の方向性の候補を示す 2,000 語の研究サマリーを作成する。最後に、チームレビュー会議をスケジュールし、要約文書を添付したカレンダー招待を送信し、今後の共同作業と参照のためにすべての作業ファイルを中央の場所に保存する。

MCP サーバーのカバレッジ

データセット全体で 25 の MCP サーバーが利用可能であり、ファイル入出力、データウェアハウス、生産性ツール、Web 連携、ドメイン固有 API にまたがっています。以下の表は、各サーバーを含むタスク数を示しており、環境内でどのツールカテゴリが最も多く使われているかを把握できます。

最も頻繁に使われるサーバーは、タスクが出力重視であることを反映しています。filesystem は、入力ファイルの読み込みと結果の書き込みのためのエージェントの作業領域として、ほぼすべてのタスクに登場します。excel と emails は最も一般的な 2 つの出力チャネルであり、大半のタスクでは少なくとも 1 つの構造化スプレッドシートを作成し、要約メッセージを送信します。terminal は、他のツールだけでは処理できないデータ変換や統計分析のために、コードスクリプトを記述・実行することをエージェントに求めます。

snowflake は企業ワークフロータスクの主要なデータソースであり、3 つの領域を公開しています。HR 分析（50,000 人の従業員、給与、評価、勤続年数データ）、営業（地域と顧客セグメントにまたがる 20,000 件の受注）、カスタマーサポート（SLA と解決メタデータを含む 31,588 件のチケット）です。タスクでは通常、1 つまたは 2 つの領域を照会し、集計を計算したり外れ値を検出したりして、結果を Excel または Word に書き出します。canvas も同様に LMS タスクの基盤となっており、エージェントは 22 コースと 173,912 件の提出物から、課題提出物をコース別に絞り込んだり、成績分布を計算したり、リスクのある学生を特定したりします。

playwright_with_chunk と fetch はどちらもモックのローカルサーバーからデータを取得します。playwright のタスクは HTML ページ（競合他社のプロフィールや商品一覧など）をスクレイピングし、fetch のタスクは REST API エンドポイント（業界給与データセットや在庫予測など）を呼び出して、その結果をデータウェアハウスのレコードと結合します。google_forms のタスクはさらに一歩進み、エージェントがプログラムで構造化アンケートを作成し、その後で注文データや履修登録データを照会して適切な送信先を特定し、個別化した招待を送信します。

howtocook は、ケータリング、食事計画、栄養分析タスクで使われるレシピおよび栄養データベースを提供します。pdf-tools は、入力として提供される参照 PDF を読む役割と、出力として整形レポートを生成する役割の両方で現れます。memory は、エージェントが反復をまたいで検索の進捗を追跡し、すでに取得したデータを再問い合わせしないようにする必要がある複数ラウンドの研究タスクを可能にします。youtube-transcript は動画記録から生のトランスクリプトテキストを抽出し、エージェントはそれを処理して構造化文書やアンケートを作成します。

初期ワークスペースのファイル形式

タスク開始時にエージェントへ提供される初期ワークスペースのファイル形式は 11 種類に及び、実際の企業ワークフローでエージェントが遭遇しうる文書の全範囲をカバーしています。その分布は現実的なタスク構成を反映しており、Markdown のブリーフや PDF の参照文書が最も一般的で、その次に JSON や Excel のような構造化データ形式が続きます。エージェントはそれらを読み、変換し、書き戻す必要があります。

以下は、初期ワークスペースで見られる代表的なファイル形式の内訳です。

Markdown（.md） ファイルは最も一般的な入力で、タスクブリーフ、運用ガイド、計画テンプレートとして機能します。たとえば travel_guide.md（鉄道予約タスク向けの社内出張規定）、analysis_methodology.md（営業分析の統計手法）、Research_Scope.md（文献レビューのトピック範囲）などです。

PDF（.pdf） ファイルは、行動を起こす前にエージェントが解析しなければならない参照文書です。報酬ポリシー、ポートフォリオガイドライン、評価ルーブリック、監査手順などで、その内容が正しい出力を直接左右します。JSON（.json） ファイルには、パラメータ化された設定が含まれます。旅行設定、絞り込みしきい値、監査基準、予算上限、チーム名簿などで、タスク説明を変えずにタスクを変化させることができます。

Excel（.xlsx） 入力は、エージェントが入力するようにあらかじめ列見出しが定義されたテンプレートです（例: paper_notes_template.xlsx、approved_budget.xlsx）。CSV（.csv） ファイルには、エージェントがデータベース結果と突き合わせる表形式の参照データが含まれます。業界給与データセット、ポートフォリオ保有銘柄、教員ディレクトリ、サプライヤー連絡先リストなどです。Text（.txt） ファイルには、論文 ID のダウンロード一覧、メール本文テンプレート、四半期売上目標、エスカレーションポリシー規則などの軽量な構造化コンテンツが含まれます。

Python（.py） スクリプトはスターターテンプレートであり、エージェントはそれを完成させて terminal 経由で実行します。既存コードの読解、意図の推測、スクリプト出力のより大きなワークフローへの統合能力を試します。より珍しい形式はそれぞれ特定の役割を持ちます。.pptx 入力は新規作成ではなくエージェントが拡張する既存のスライドデッキ、.docx 入力は埋めるべき見出しがあらかじめ定義された文書のひな形、単一の .bib ファイルは新たに見つかった論文で拡張する種の文献リスト、そして単一の .gz アーカイブは、その内容を利用する前に terminal で展開する必要があります。

Toolathlon-GYM が異なる理由

規模と多様性

25 の MCP サーバーと 6 つのデータドメインにまたがる 503 タスクにより、Toolathlon-GYM はこの分野の従来データセットよりも大幅に大きく、ツールの多様性も高くなっています。タスクは、単一ツールの参照検索ではなく、真のクロスシステム調整を必要とするように設計されています。

完全ローカルかつ再現可能

環境全体は 1 つの Docker Compose ファイルから実行されます。評価時にデータサービスの API キーは不要です。PostgreSQL ダンプはバージョン管理されており決定論的であるため、結果はマシン間および時間経過の中でも再現可能です。

現実的なタスクの複雑さ

タスクは、実際の企業ワークフローパターンから採られています。たとえば、HR データベースからデータを取得して給与分析スプレッドシートを作成する、LMS の提出記録をカレンダーの締切と突き合わせる、スクレイピングした Web データからスライドデッキを生成する、といった複数ステップの目標です。大半のタスクでは、正しく完了するために 4〜7 のツールが必要です。

謝辞

Toolathlon-GYM は、以下のインフラストラクチャと元のデータパイプラインの上に構築されています。

Toolathlon: Benchmarking LLM Agents on Real-World Tool-Use Tasks HKUST-NLP https://github.com/hkust-nlp/Toolathlon

モックデータベースのスキーマ設計、MCP サーバーのインターフェース、およびタスク評価フレームワークは Toolathlon プロジェクトに由来します。このデータセットは、追加タスクとより大規模なモックデータで元のものを拡張しています。

引用

研究で Toolathlon-GYM を使用する場合は、以下を引用してください。

@misc{toolathlon-gym,
  author    = {Puzhen Zhang and Weijie Bai and Wendong Fan and Guohao Li},
  title     = {{Toolathlon-GYM: Large-Scale Long-Horizon Environments for Tool-Use Agents}},
  year      = {2026},
  url       = {https://github.com/eigent-ai/toolathlon_gym}
}

お問い合わせ

ご連絡をご希望の場合は、info@eigent.ai までお問い合わせください