Evaluating Open-Domain Question Answering in the Era of Large Language Models

最新推荐文章于 2025-11-25 12:11:01 发布

UnknownBody

最新推荐文章于 2025-11-25 12:11:01 发布

阅读量562

点赞数

CC 4.0 BY-SA版权

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/133867123

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文深入分析了开放域问答（QA）模型的评估，指出词汇匹配方法的局限性，尤其是在大型语言模型（LLM）中。研究发现，LLM在NQ-OPEN基准上的性能被严重低估，且超过50%的词汇匹配失败是由于语义等价的答案。人工评估揭示了InstructGPT在开放域QA中的潜力，但也指出自动评估对于长格式答案的评估不足。

本文是LLM系列文章，针对《Evaluating Open-Domain Question Answering in the Era of Large Language Models》的翻译。

摘要

词汇匹配仍然是开放域问答(QA)事实上的评价方法。不幸的是，当一个可信的候选答案没有出现在黄金答案列表中，词汇匹配就会完全失败，随着我们从抽取模型转向生成模型，这种情况越来越多。最近大型语言模型(llm)在QA方面的成功加剧了词汇匹配失败，因为候选答案变得更长，从而使与黄金答案的匹配更具挑战性。没有准确的评估，开放领域QA的真正进展仍然是未知的。在本文中，我们通过在NQ-OPEN(一个流行的基准)的子集上手动评估它们的答案，对各种开放域QA模型(包括llm)进行了彻底的分析。我们的评估显示，虽然所有模型的真实性能都被严重低估了，但InstructGPT(零样本)LLM的性能提高了近60%，使其与现有的顶级模型相当，而InstructGPT(小样本)模型实际上在NQ-OPEN上达到了新的水平。我们还发现，超过50%的词汇匹配失败归因于语义等价的答案。我们进一步证明了regex匹配排序QA模型与人类判断一致，尽管仍然遭受不必要的严格。最后，我们证明了在某些情况下，自动评估模型是词汇匹配的合理替代品，但对于llm生成的长格式答案则不是。自动模型很难检测到LLM答案中的幻觉，因此无法评估LLM。在这个时候，似乎没有什么可以代替人的评价。