PoLLMgraph: Unraveling Hallucinations in Large Language Models via State Transition Dynamics

本文是LLM系列文章，针对《PoLLMgraph: Unraveling Hallucinations in Large Language Models via State Transition Dynamics》的翻译。

摘要

尽管近年来大型语言模型（LLM）取得了巨大进步，但其实际部署面临的一个特别紧迫的挑战是“幻觉”现象，即模型捏造事实并产生非事实陈述。作为回应，我们提出了PoLLMgraph——LLM的测谎仪——作为一种有效的基于模型的白盒检测和预测方法。PoLLMgraph明显不同于现有的大量研究，后者专注于通过黑箱评估来应对这些挑战。特别是，我们证明，通过可处理的概率模型分析LLM在生成过程中的内部状态转换动力学，可以有效地检测幻觉。在各种开源LLM上的实验结果证实了PoLLMgraph的有效性，其性能远远优于最先进的方法，在TruthyQA等常见基准数据集上AUCROC提高了20%以上就证明了这一点。我们的工作为基于模型的LLM白盒分析铺平了新的道路，激励研究界进一步探索、理解和完善LLM行为的复杂动态。

1 引言

2 相关工作

3 PoLLMgraph

4 实验

5 结论

在本文中，我们介绍了PoLLMgraph，这是一种利用激活模式中的状态转移动力学来检测LLM中幻觉问题的新方法。PoLLMgraph的设计遵循白盒方法，构建了一个概率模型，该模型错综复