Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs

本文是LLM系列文章，针对《Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs》的翻译。

摘要

大型语言模型（LLMs）的出现极大地改变了人工智能的格局，增强了机器学习和人工智能的能力。事实性问题是LLM的一个关键问题，因为它们可能会产生与事实不符的回答。在这篇论文中，我们提出了GraphEval来使用一个相当大的测试数据集来评估LLM的性能。具体来说，测试数据集是从一个包含1000多万个事实的大型知识图谱中检索出来的，无需付出昂贵的人力。与基于生成的响应评估LLM的传统方法不同，GraphEval通过创建判断模型来估计LLM给出的答案的正确性，从而简化了评估过程。我们的实验表明，法官模型的真实性评估与LLM生成的输出的正确性密切相关，同时也大大降低了评估成本。此外，我们的研究结果为不同指标的LLM绩效提供了宝贵的见解，并强调了未来在确保LLM产出的事实完整性方面进行改进的潜力。该代码可在以下网址公开获取https://github.com/xz-liu/GraphEval.

1 引言

2 相关工作

3 方法

4 实验

5 结论

我们介绍GraphEval，这是一种创新的方法，用于评估LLM对大量测试数据集的有效性，这些数据集来自包含1000多万个事实的广泛知识图谱，大大减少了昂贵的人为干预的必要性。GraphEval通过在LLM本身中嵌入判断模块，不仅完善了评估过程，还为评估这些模型所提供信息的准确性