SelfIE: Self-Interpretation of Large Language Model Embeddings

本文是LLM系列文章，针对《SelfIE Self Interpretation of Large Language Model Embeddings》的翻译。

摘要

大型语言模型 （LLM） 如何获得答案？解释和控制 LLM 推理过程的能力是可靠性、透明度和未来模型开发的关键。我们提出了 SelfIE （Self-Interpretation of Embeddings），这是一个框架，使 LLM 能够通过利用其能力来回答有关给定段落的查询，从而在自然语言中解释自己的嵌入。SelfIE 能够解释隐藏嵌入中的开放世界概念，在做出道德决定、内化及时注入和召回有害知识等情况下揭示 LLM 内部推理。SelfIE 关于隐藏嵌入的文本描述为控制 LLM 推理开辟了途径。我们提出了 Supervised Control，它允许编辑开放式概念，同时只需要单个层的梯度计算。我们将 RLHF 扩展到隐藏的嵌入，并提出了 Reinforcement Control，可以在没有监督目标的情况下擦除 LLM 中的有害知识。

1 引言

大型语言模型（LLM）已成为从编程、问答到医疗保健等广泛应用的基础。然而，这些模型在很大程度上是黑箱，在推理过程中如何做出决策的透明度有限。解释LLM学习的表示对于在许多应用程序中建立信任以及揭示最先进的方法是推理还是只是重复训练集非常重要。
机器学习中的一个长期问题是，人们一直在努力揭示LLM决策背后的解释。例如，思维链使用上下文示例来指导模型额外输出其推理过程，但不能保证解释忠实于实际推理过程。此外，Zou等人表明，LLM根据是否需要提供解释而对问题的回答不同，这使得真实的解释往往难以获得。由于LLM的答案是从隐藏的表示中产生的，因此内部嵌入为LLM的推理过程提供了更直接和因果相关的访问。Hernandez等人和Li等人开发了线性探针来识别隐藏嵌入中的信息，但这些方法