An Extensive Evaluation of Factual Consistency in Large Language Models for Data-to-Text Generation

本文是LLM系列文章，针对《An Extensive Evaluation of Factual Consistency in Large Language Models for Data-to-Text Generation》的翻译。

数据到文本生成大型语言模型中事实一致性的广泛评估

摘要
1 引言
2 相关工作
3 前言
4 实验设置
5 事实一致性评价：结果与讨论
6 来源参考分歧对事实一致性的影响
7 人类评价
8 结论

摘要

大型语言模型（LLM）在各种数据到文本生成（DTG）任务中表现出了卓越的性能。然而，对于LLM来说，在DTG中生成事实一致的文本仍然具有挑战性。尽管如此，目前的文献中仍然缺少对DTG LLM事实一致性的深入评估。本文通过对DTG LLM中事实一致性的广泛评估来解决这一差距。我们的评估涵盖了五个广泛使用的DTG数据集（E2E、ViGGo、WikiTableText、DART和WebNLG）和五个著名的LLM家族（T5、BART、OPT、BLOOM和Llama 2）。为了确保对事实一致性的全面评估，我们使用了四种最先进的自动指标，并包括基本的人工评估。我们的广泛评估揭示了关于DTG LLM事实一致性的三个关键发现。首先，Llama 2通常擅长生成事实一致的文本，尽管像T5和BART这样的较小模型可以在更大、词汇多样性更低的数据集上实现很强的事实一致性。其次，平均变化率（AROC）表明，增加模型大小（模型可训练参数的数量）通常会提高DTG中LLM的事实一致性。第三，我们观察到源引用分歧（即当引用文本在语义上与源文本分歧时）通常会降低DTG中LLM的事实一致性。