Correcting Large Language Model Behavior via Influence Function

本文是LLM系列文章，针对《Correcting Large Language Model Behavior via Influence Function》的翻译。

摘要

人工智能对齐技术的最新进展显著改善了大型语言模型（LLM）与静态人类偏好的对齐。然而，人类偏好的动态性可能会使一些先前的训练数据过时甚至错误，最终导致LLM偏离当代人类偏好和社会规范。现有的方法，无论是管理新数据以进行持续对齐，还是手动纠正过时数据以进行重新对齐，都需要昂贵的人力资源。为了解决这个问题，我们提出了一种新的方法，LLM BehAvior Correction with INfluence FunCtion REcall and Post Training（LANCET），它不需要人为干预。LANCET由两个阶段组成：（1）使用新方法LinFAC有效地识别对不理想模型输出有重大影响的训练数据，以及（2）应用新的影响驱动布雷格曼优化（IBO）技术，根据这些影响分布调整模型的输出。我们的实验表明，LANCET在保持模型效用的同时，有效地纠正了LLM的不当行为。此外，LANCET在分布外有害提示下表现出比所有基线更强的泛化能力，提供了更好的可解释性和与LLM现实应用的兼容性。

1 引言

2 前言和相关工作

3 方法

4 实验

5 结论

这项工作提出了一种新的方法LANCET来纠正LLM行为，而不需要大量的人力资源。LANCET利用影响函数来识别训练集中有影响的样本，并有效地纠正不当行为。这是通过创新的LinFAC技术实现的，与现有方法相比，该技术显著降低了计算复杂度，以及影响驱动的布雷格曼优化（IBO