Help or Hurdle? Rethinking Model Context Protocol-Augmented Large Language Models

文章总结与翻译

一、文章主要内容

本文聚焦模型上下文协议（MCP）与大型语言模型（LLMs）的交互问题，旨在打破“MCP必然提升LLMs性能”的普遍认知。MCP作为连接LLMs与外部资源的通信标准，能让LLMs动态调用外部工具（如网页搜索、数据库查询等），但此前缺乏对LLMs如何利用MCP的系统研究。

研究团队提出首个综合评估框架MCPGAUGE，从主动性（自主调用工具）、依从性（遵循工具使用指令）、有效性（任务性能变化）、开销（计算成本）四个维度，通过160个提示词套件和25个涵盖知识理解、通用推理、代码生成的数据集，对6个商业LLMs、30个MCP工具套件在单轮和双轮对话场景下开展大规模评估（约2万次API调用，成本超6000美元）。

评估揭示四大关键发现：

1. 主动性局限：多数LLMs在单轮对话中主动调用MCP工具的能力弱，但双轮对话中性能显著提升（如GPT-4提升240%），存在“预热”需求；
2. 依从性不足：仅当工具使用指令嵌入多轮对话时，LLMs的依从性才会提升，单轮指令遵循能力有限；
3. 有效性反超预期：MCP集成使6个LLMs在三类核心任务中的准确率平均下降9.5%，外部上下文可能干扰模型内部推理；
4. 计算开销高昂：MCP集成导致输入token量增加3.25倍至236.5倍，大幅提