TALE: A Tool-Augmented Framework for Reference-Free Evaluation of Large Language Models

主要内容

1. 研究背景：大语言模型（LLMs）应用广泛，但对其输出的评估面临挑战。传统基于参考的评估指标依赖固定标准答案，难以适应事实变化，且无法体现语义等价；人工评估可靠但成本高、扩展性差；以LLM为评判者的方法，无论是否依赖参考，都存在局限性，如缺乏外部验证、易受模型自身缺陷影响等。
2. 相关工作：回顾现有LLMs评估方法，包括人工和基于参考的评估、以LLM为评判者的方法、工具增强的评估等，并分析了各自的优缺点。
3. 方法：提出工具增强的LLM评估（TALE）框架，该框架通过迭代、工具辅助的证据收集来评估LLM的输出。具体包括候选响应生成、以LLM为评判者、工具增强的评估过程（含查询生成、网络搜索、总结、反思、短期记忆和最终评判等模块）。
4. 实验设置：使用Gemini-1.5-pro、GPT-3.5-turbo等多种模型，在AmbigQA、HotpotQA等多个数据集上进行实验。采用特定的提示策略，对比TALE与基于参考的指标、无工具增强的评判者等基线方法，并通过人工评估和多种评估指标进行衡量。
5. 实验结果：TALE显著优于无工具的评判者，与基于参考的指标（如F1）高度一致，与人工评估的一致性也很高，且在检测不实事实、过时知识和修复错误推理痕迹方面表现出色。同时，