Toolathlon-GYM: بيئات واسعة النطاق وطويلة الأفق لاستخدام الأدوات لدى الوكلاء

يُعد تدريب وتقييم وكلاء LLM على استخدام الأدوات في العالم الحقيقي أمرًا صعبًا. فمعظم مجموعات البيانات الحالية إما محدودة جدًا من حيث تغطية الأدوات، أو صغيرة الحجم، أو تعتمد على واجهات برمجة تطبيقات خارجية حيّة تتغير بمرور الوقت. نقدّم Toolathlon-GYM، وهو بيئة واسعة النطاق ومستقلة بذاتها تضم 503 مهمة، و25 خادم MCP، وقاعدة بيانات وهمية غنية. تعمل بالكامل محليًا، من دون الحاجة إلى أي استدعاءات لواجهات برمجة تطبيقات خارجية أثناء التقييم.

يُبنى Toolathlon-GYM على البنية التحتية المستمدة من Toolathlon من HKUST-NLP، ويمتد عليها. تنبع صيغة المهام، وإطار التقييم، وواجهات خوادم MCP، وتصميم مخطط قاعدة البيانات جميعها من مشروع Toolathlon. تطبّق هذه المجموعة الصيغة نفسها على نطاق أكبر، ما ينتج مجموعة مهام أكبر بكثير وأكثر تنوعًا للتدريب والتقييم. تطلب كل مهمة من الوكيل إنجاز هدف متكامل مثل سحب بيانات من قاعدة بيانات مؤسسية وهمية، أو إنتاج تقرير في جدول بيانات، أو جدولة حدث في التقويم، أو إرسال رسالة بريد إلكتروني موجزة، وذلك باستخدام مجموعة ثابتة من خوادم MCP (Model Context Protocol) كأدوات.

كل مهمة مؤتمتة بالكامل: يقوم برنامج preprocess/main.py بإعداد حالة مساحة العمل الأولية قبل التشغيل، ثم ينفذ الوكيل المهمة باستخدام الأدوات المتاحة، وبعد ذلك يتحقق برنامج evaluation/main.py من المخرجات مقارنةً بالـ groundtruth المرجعية. لا توجد أي عمليات تقييم بشرية أو خدمات خارجية حيّة ضمن العملية.

صُممت مجموعة البيانات لاختبار قدرات الوكلاء التي تهم عمليًا: التخطيط متعدد الخطوات عبر أدوات غير متجانسة، وقراءة وكتابة صيغ ملفات منظمة، ومزامنة البيانات بين الأنظمة، وإنجاز المهام طويلة الأفق ضمن ميزانية خطوات ثابتة. كما نوفر وكيلًا نموذجيًا مبنيًا باستخدام إطار CAMEL-AI للتشغيل في بيئات Toolathlon-GYM.

هيكل المهام

توجد جميع المهام الـ 503 في tasks/finalpool/. ويتبع كل مجلد مهمة بنية ثابتة:

<task-name>/
├── task_config.json         # أي خوادم MCP يمكن للوكيل استخدامها
├── docs/
│   ├── task.md              # وصف المهمة المعروض للوكيل
│   └── agent_system_prompt.md
├── evaluation/main.py       # المقيم الآلي
├── preprocess/main.py       # إعداد حالة قاعدة البيانات (يُشغَّل تلقائيًا قبل كل مهمة)
├── initial_workspace/       # ملفات الإدخال المحمّلة مسبقًا في مساحة عمل الوكيل
└── groundtruth_workspace/   # المخرجات المرجعية للتقييم

تُكتب أوصاف المهام (task.md) من دون أسماء علامات تجارية للأدوات أو الخدمات — إذ تُخفى الإشارات إلى أدوات مثل "Notion" أو "Google Calendar" أو "Canvas" بأوصاف عامة مثل "قاعدة معرفة" أو "تقويم مشترك" أو "نظام إدارة التعلم". وهذا هو نفس نمط الإخفاء المستخدم في مشروع Toolathlon الأصلي، ويمنع الوكلاء من اتخاذ اختصارات قائمة على التعرف على الكلمات المفتاحية، ما يشجع على استدلال حقيقي في استخدام الأدوات.

قاعدة البيانات الوهمية

الاتصال: toolathlon_gym @ localhost:5432 (المستخدم: eigent، كلمة المرور: camel)

تُقدَّم جميع البيانات من قاعدة بيانات PostgreSQL محلية، جرى تهيئتها من نسخة مضغوطة (db/init.sql.gz، بحجم 8.2 MB). لا تُجرى أي استدعاءات خارجية لواجهات برمجة التطبيقات أثناء التشغيل. وهذا يجعل البيئات قابلة للتحكم الكامل ويتجنب مشكلات حدود المعدل في APIs، أو تغييرات المخطط، أو انحراف البيانات.

تُشتق البيانات من مصادر واقعية أو تُحاكى على غرارها: Kaggle OULAD (Open University Learning Analytics Dataset) لبيانات نظام إدارة التعلم، وKaggle HR Analytics لبيانات الموارد البشرية المؤسسية، وYahoo Finance API للبيانات المالية، ومزيج من Kaggle Amazon product datasets وDummyJSON لبيانات التجارة الإلكترونية.

مخططات غنية بالبيانات

إحصاءات مجموعة البيانات

الإجمالي: 503 مهمة

توزيع عدد MCP

تتراوح المهام بين 4 و8 خوادم MCP، مع كون الغالبية تتطلب 4–7 أدوات. يشير ارتفاع عدد MCP إلى حاجة أكبر للتنسيق بين الأنظمة: إذ يجب على الوكلاء تنسيق أدوات أكثر تنوعًا داخل مهمة واحدة، والتخطيط لتسلسلات إجراءات أطول، والتعامل مع تدفقات بيانات أكثر تعقيدًا عبر الخدمات:

فيما يلي أمثلة تمثيلية من كل فئة، توضح كيف يتدرج تعقيد المهمة ومتطلبات التنسيق مع عدد MCP. (ولأن النص الأصلي طويل جدًا، يُعرض هنا مجرد ملخص للمهمة.)

4 MCPs — wc-customer-retention-email (woocommerce, excel, emails, filesystem)

حدِّد أفضل 10 عملاء من المتجر الإلكتروني وفقًا لإجمالي المبلغ المنفق. أنشئ جدول Excel باسم VIP_Customer_Report.xlsx يحتوي على الأعمدة Rank وName وEmail وOrders_Count وTotal_Spent، مرتبة من الأعلى إلى الأدنى. ثم أرسل رسالة شكر شخصية إلى كل واحد من هؤلاء العملاء العشرة من vip-program@store.example.com، مع مخاطبتهم بأسمائهم الأولى وذكر إجمالي المبلغ الذي أنفقوه.

5 MCPs — 12306-beijing-shanghai-trip-notion-gcal-word (rail_12306, notion, google_calendar, word, emails)

خطط لرحلة ذهاب وعودة في اليوم نفسه بين بكين وشنغهاي. استعلم عن القطارات السريعة المتاحة في 10 مارس 2026 في كلا الاتجاهين واختر أفضل قطار للذهاب والعودة بناءً على التوقيت. سجّل تفاصيل الرحلة في قاعدة المعرفة الخاصة بالفريق، وأنشئ Travel_Plan.docx يحتوي على ثلاثة أقسام (Outbound Journey, Return Journey, Booking Summary)، وأضف حدثين في التقويم يغطيان فترات السفر، ثم أرسل رسالة تأكيد إلى travel@consulting.com.

6 MCPs — arxiv-conference-prep (scholarly, arxiv-latex, pptx, google_calendar, emails, filesystem)

استعد لمؤتمر RLHF Summit 2026. ابحث عن 5 أوراق بحثية على الأقل حول reinforcement learning from human feedback، ثم اقرأ مصدر LaTeX الكامل لاستخراج تفاصيل المنهجية. أنشئ عرض PowerPoint يتضمن شريحة عنوان، ونظرة عامة على مجال RLHF، وشريحة لكل ورقة، وشريحة خلاصة تركيبية. أضف حدثًا في التقويم للمؤتمر في 10 أبريل 2026، وأرسل مواد التحضير عبر البريد الإلكتروني إلى المتعاونين.

7 MCPs — arxiv-research-pipeline-notion-excel (scholarly, arxiv_local, terminal, excel, notion, filesystem)

أنشئ قاعدة معرفة بحثية حول نماذج اللغة الكبيرة. ابحث عن أوراق حول LLMs، وprompt engineering، وin-context learning. استخدم الطرفية لتشغيل سكربت تلخيص يقرأ بيانات تعريف الأوراق ومحتواها، ويحسب درجات الصلة، ويُخرج ملخص JSON منظمًا. أنشئ ملف Excel بثلاث ورقات (Paper_Catalog, Method_Comparison, Research_Gaps) وصفحة Notion بعنوان "LLM Research Hub" تحتوي على لوحة بحث تتضمن نظرة عامة على المشهد، ومقارنة المنهجيات، والفجوات المحددة.

8 MCPs — arxiv-research-workflow-pipeline (scholarly, arxiv-latex, terminal, word, google_calendar, emails, pdf-tools, filesystem)

أنشئ مسارًا لمراجعة الأدبيات يبدأ بالبحث عن أوراق حديثة حول بنى الشبكات العصبية وتنزيل ملفات PDF الخاصة بها. حلّل ملفات مصدر LaTeX لهذه الأوراق لاستخراج الصيغ الرياضية الأساسية وتنظيمها في صيغة منظمة. وبناءً على المواد المجمعة، أنشئ ببليوغرافيا مصنفة مع الاستشهادات الأكاديمية الصحيحة. ثم أخرج ملخصًا بحثيًا من 2,000 كلمة يدمج الاتجاهات الرئيسية، ويحدد الفجوات البحثية، ويعرض الاتجاهات المستقبلية المحتملة. أخيرًا، جدولة اجتماع مراجعة للفريق، وأرسل دعوات التقويم مرفقًا بها مستند الملخص، واحفظ جميع الملفات العاملة في موقع مركزي للتعاون والرجوع إليها لاحقًا.

تغطية خوادم MCP

تتوفر 25 خادم MCP عبر مجموعة البيانات، وتشمل إدخال/إخراج الملفات، ومستودعات البيانات، وأدوات الإنتاجية، والتفاعل مع الويب، وواجهات برمجة التطبيقات الخاصة بمجالات معينة. يوضح الجدول أدناه عدد المهام التي تتضمن كل خادم، ما يعطي تصورًا عن فئات الأدوات الأكثر تمثيلًا في البيئة:

تعكس الخوادم الأكثر استخدامًا الطابع المرتكز على المخرجات للمهام. يظهر filesystem في ما يقرب من كل مهمة بوصفه مساحة عمل الوكيل لقراءة ملفات الإدخال وكتابة النتائج. ويُعد excel وemails قناتي الإخراج الأكثر شيوعًا — إذ تنتج معظم المهام جدول بيانات منظمًا واحدًا على الأقل وترسل رسالة موجزة. ويتطلب terminal من الوكيل كتابة وتشغيل سكربتات برمجية لتحويل البيانات أو إجراء تحليل إحصائي لا يمكن تنفيذه بواسطة الأدوات الأخرى وحدها.

يُعد snowflake مصدر البيانات الأساسي لمهام سير العمل المؤسسي، حيث يوفّر ثلاثة مجالات: تحليلات الموارد البشرية (50,000 موظف، وبيانات الرواتب، وتقييمات الأداء، وبيانات مدة الخدمة)، والمبيعات (20,000 طلب عبر المناطق وشرائح العملاء)، ودعم العملاء (31,588 تذكرة مع بيانات SLA والإنجاز). عادةً ما تستعلم المهام عن مجال واحد أو اثنين، وتحسب التجميعات أو تحدد القيم الشاذة، وتكتب النتائج إلى Excel أو Word. وبالمثل يرسّخ canvas مهام LMS، حيث يقوم الوكلاء بفلترة التسليمات حسب الدورة، وحساب توزيعات الدرجات، أو تحديد الطلاب المعرّضين للخطر من مجموعة بيانات تضم 22 دورة و173,912 تسليمًا.

تسترجع playwright_with_chunk وfetch البيانات من خوادم محلية وهمية — إذ تقوم مهام playwright بكشط صفحات HTML (مثل ملفات تعريف المنافسين أو قوائم المنتجات)، بينما تستدعي مهام fetch نقاط نهاية REST API (مثل مجموعات بيانات الرواتب في الصناعة أو توقعات المخزون) ثم تربط النتائج بسجلات مستودع البيانات. وتذهب مهام google_forms خطوة أبعد: إذ ينشئ الوكيل استبيانًا منظمًا برمجيًا، ثم يستعلم عن بيانات الطلبات أو التسجيلات لتحديد المستلمين المناسبين ويرسل دعوات مخصصة.

يوفّر howtocook قاعدة بيانات للوصفات والقيم الغذائية تُستخدم في مهام تقديم الطعام، وتخطيط الوجبات، وتحليل التغذية. ويظهر pdf-tools بوصفه قارئًا (ملفات PDF مرجعية مقدمة كمدخلات) وناسخًا أيضًا (تقارير منسقة تُنتج كمخرجات). ويتيح memory مهام بحث متعددة الجولات حيث يجب على الوكيل تتبع تقدم البحث عبر التكرارات وتجنب إعادة الاستعلام عن البيانات التي سبق أن استرجعها. ويستخرج youtube-transcript النص الخام للنصوص التفريغية من تسجيلات الفيديو، ثم يعالجها الوكيل لإنتاج مستندات أو استبيانات منظمة.

أنواع ملفات مساحة العمل الأولية

تمتد أنواع الملفات الأولية المقدمة للوكيل عند بدء المهمة إلى 11 صيغة مختلفة، تغطي النطاق الكامل للمستندات التي قد يواجهها الوكيل في سير العمل المؤسسي الحقيقي. يعكس التوزيع التركيبة الواقعية للمهام: إذ إن الملخصات بصيغة Markdown ومستندات PDF المرجعية هما الأكثر شيوعًا، تليهما صيغ البيانات المنظمة مثل JSON وExcel التي يجب على الوكلاء قراءتها وتحويلها وإعادة كتابتها:

فيما يلي تفصيل لأنواع الملفات الأكثر تمثيلًا الموجودة في مساحة العمل الأولية:

تُعد ملفات Markdown (.md) أكثر المدخلات شيوعًا، حيث تعمل كملخصات مهام، وأدلة تشغيل، وقوالب تخطيط — مثل travel_guide.md (سياسة السفر الخاصة بالشركة لمهمة حجز بالقطار)، أو analysis_methodology.md (المنهج الإحصائي لتحليل المبيعات)، أو Research_Scope.md (حدود الموضوع لمراجعة الأدبيات).

أما ملفات PDF (.pdf) فهي مستندات مرجعية يجب على الوكيل تحليلها قبل التصرف — مثل سياسات التعويض، أو إرشادات المحافظ الاستثمارية، أو سلالم التقدير، أو إجراءات التدقيق، حيث يحدد محتواها مباشرةً المخرجات الصحيحة. وتحمل ملفات JSON (.json) إعدادات قابلة للتهيئة: إعدادات الرحلة، وحدود التصفية، ومعايير التدقيق، والحدود القصوى للميزانية، وقوائم أعضاء الفريق، ما يتيح تنويع المهام من دون تغيير وصف المهمة.

تأتي مدخلات Excel (.xlsx) على هيئة قوالب مملوءة مسبقًا بعناوين أعمدة محددة سلفًا يجب على الوكيل تعبئتها (مثل paper_notes_template.xlsx وapproved_budget.xlsx). وتحمل ملفات CSV (.csv) بيانات مرجعية جدولية يربطها الوكيل بنتائج قاعدة البيانات — مثل مجموعات بيانات رواتب الصناعة، أو مقتنيات المحافظ الاستثمارية، أو أدلة أعضاء هيئة التدريس، أو قوائم جهات الاتصال بالموردين. وتوفر ملفات Text (.txt) محتوى منظمًا خفيف الوزن: قوائم بمعرّفات الأوراق البحثية المطلوب تنزيلها، أو قوالب نصوص البريد الإلكتروني، أو أهداف المبيعات الفصلية، أو قواعد سياسة التصعيد.

تُعد سكربتات Python (.py) قوالب بداية يُكملها الوكيل وينفذها عبر الطرفية، ما يختبر قدرته على قراءة الشيفرة الموجودة، واستنتاج الغرض منها، ودمج ناتج السكربت في سير عمل أكبر. وتؤدي الصيغ النادرة كل منها دورًا محددًا: إذ تمثل مدخلات .pptx عروض شرائح موجودة يوسّعها الوكيل بدل إنشائها من الصفر؛ وتمثل مدخلات .docx هياكل مستندات بعناوين مسبقة يملؤها الوكيل؛ ويُعد ملف .bib الوحيد ببليوغرافيا أولية يضيف إليها الوكيل أوراقًا جديدة مكتشفة؛ كما يجب فك ضغط الأرشيف الوحيد .gz باستخدام الطرفية قبل أن يمكن استخدام محتوياته.

ما الذي يميز Toolathlon-GYM

النطاق والتنوع

بوجود 503 مهمة عبر 25 خادم MCP و6 مجالات بيانات، يكون Toolathlon-GYM أكبر بكثير وأكثر تنوعًا من حيث الأدوات مقارنةً بمجموعات البيانات السابقة في هذا المجال. صُممت المهام لتتطلب تنسيقًا حقيقيًا بين الأنظمة بدلًا من عمليات بحث بأداة واحدة.

محلي بالكامل وقابل لإعادة الإنتاج

تعمل البيئة بأكملها من ملف Docker Compose واحد. لا حاجة إلى مفاتيح API لخدمات البيانات أثناء التقييم. ونظرًا لأن نسخة PostgreSQL مؤرشفة ومحددة الحتمية، فإن النتائج قابلة لإعادة الإنتاج عبر الأجهزة وعبر الزمن.

تعقيد واقعي للمهام

تستمد المهام من أنماط سير عمل مؤسسية حقيقية: سحب بيانات من قاعدة بيانات الموارد البشرية لإنتاج جدول تحليل رواتب، ومطابقة سجلات تسليمات نظام إدارة التعلم مع مواعيد التقويم النهائية، وإنشاء عروض شرائح من بيانات الويب المكشوطة، وأهداف متعددة الخطوات مشابهة. تتطلب معظم المهام 4–7 أدوات لإنجازها بالشكل الصحيح.

الشكر والتقدير

يُبنى Toolathlon-GYM على البنية التحتية ومسارات البيانات الأصلية من:

Toolathlon: Benchmarking LLM Agents on Real-World Tool-Use Tasks HKUST-NLP https://github.com/hkust-nlp/Toolathlon

ينبع تصميم مخطط قاعدة البيانات الوهمية، وواجهات خوادم MCP، وإطار تقييم المهام من مشروع Toolathlon. توسّع هذه المجموعة المشروع الأصلي بمهام إضافية وبيانات وهمية أكبر نطاقًا.

الاستشهاد

إذا استخدمت Toolathlon-GYM في بحثك، يرجى الاستشهاد بـ:

@misc{toolathlon-gym,
  author    = {Puzhen Zhang and Weijie Bai and Wendong Fan and Guohao Li},
  title     = {{Toolathlon-GYM: Large-Scale Long-Horizon Environments for Tool-Use Agents}},
  year      = {2026},
  url       = {https://github.com/eigent-ai/toolathlon_gym}
}

التواصل

إذا رغبت في التواصل معنا، يرجى مراسلة info@eigent.ai