Identifying Factual Inconsistency in Summaries Towards Effective Utilization of Large Language Model_identifying factual inconsistency in summaries--to-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138149818

本文探讨如何使用大语言模型（LLM）有效地识别摘要中的事实不一致性。研究提出零样本方法和蒸馏高效记分器，通过实验验证LLM能直接解决此任务，且训练出的小型LLM能高效评分。结论显示，这种方法在效率和功效上优于ChatGPT。

本文是LLM系列文章，针对《Identifying Factual Inconsistency in Summaries: Towards Effective Utilization of Large Language Model》的翻译。

摘要

事实上的不一致性对抽象摘要的商业部署构成了重大障碍。在这个大语言模型（LLM）时代，这项工作围绕着两个重要问题展开：利用LLM进行事实不一致检测的最佳方式是什么？以及我们如何提取出一个既高效又有效的较小LLM？首先在五个不同的数据集上提出并评估了三种零样本范式：对整个摘要或每个摘要窗口的直接推理；实验表明，LLM本身能够在适当的范式设计下自由训练地解决这一任务，平均超过强训练基线2.8%。为了进一步提高实用性，我们提出了旨在提取较小的开源LLM的训练策略，该LLM可以学习以高精度一次对整个摘要进行评分，这比零样本方法好得多，是一种有效且高效的现成评分器。

1 引言

2 相关工作

3 方法：LLM零样本

4 方法：蒸馏高效记分器

5 结论

在总结中，我们介绍了三种利用LLM进行事实不一致检测的零样本范式。在五个数据集上的实证结果表明，LLM本身能够直接解决这一任务，并强调了正确的范式设计的重要性。为了获得更好的实用性，我们进一步提出了训练策略，通过提取较小的开源LLM，一次对整个摘要进行评分。通过结合黄金标签和推理，训练的模型还以很大的优势优