The MCP Company

MCPCompany：使用特定任务的工具创建通用代理 [\[ArXiv\]](https://arxiv.org/abs/2510.19286)

自从引入模型上下文协议（MCP）以来，用于大型语言模型（LLM）的可用工具数量显著增加。这些特定于任务的工具集为web浏览器等通用工具提供了一种替代方案，同时比GUI更容易开发和维护。然而，目前的通用代理主要依赖于web浏览器与环境进行交互。在这里，我们介绍TheMCPCompany，这是一个基准，用于评估涉及与各种现实世界服务交互的任务中的工具调用代理。我们使用这些服务的REST API来创建MCP服务器，其中包括18000多个工具。我们还为每个任务提供手动注释的地面实况工具。在我们的实验中，我们使用地面真实工具来展示工具调用代理在提高性能和降低成本方面的潜力，前提是实现完美的工具检索。接下来，我们使用工具检索来探索代理性能，以研究基于工具的代理的现实实用性。虽然所有具有工具检索的模型的性能都与基于浏览器的代理相似或更好，但较小的模型无法通过检索充分利用可用的工具。另一方面，GPT-5在工具检索方面的性能与在地面实况工具方面的性能非常接近。总的来说，我们的工作表明，最先进的推理模型在更简单的环境中能够有效地发现工具，但在复杂的企业环境中却很难导航。MCPCompany透露，对于当前的模型来说，导航数万个工具并以非平凡的方式组合它们来解决复杂问题仍然是一项具有挑战性的任务，需要更好的推理和更好的检索模型。

运行代理

按照以下步骤运行代理：

• 设置代理与之交互的环境：

- 对于TheAgentCompany任务，请遵循以下官方指示 这里 运行docker容器。 - 对于Azure任务，请按照以下步骤操作 这些说明 创建Azure帐户和服务原则。

• 运行MCP服务器。跟随 这些说明 以运行MCP服务器。 _使用浏览器工具的代理不需要_.
• 跟随 这些说明 设置OpenHands并运行评估。

引用

@misc{tmc,
      title={TheMCPCompany: Creating General-purpose Agents with Task-specific Tools}, 
      author={Reza Esfandiarpoor and Vishwas Suryanarayanan and Stephen H. Bach and Vishal Chowdhary and Anthony Aue},
      year={2025},
      eprint={2510.19286},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2510.19286}, 
}