SelfIE: Self-Interpretation of Large Language Model Embeddings

本文是LLM系列文章，针对《SelfIE Self Interpretation of Large Language Model Embeddings》的翻译。

摘要

大型语言模型 （LLM） 如何获得答案？解释和控制 LLM 推理过程的能力是可靠性、透明度和未来模型开发的关键。我们提出了 SelfIE （Self-Interpretation of Embeddings），这是一个框架，使 LLM 能够通过利用其能力来回答有关给定段落的查询，从而在自然语言中解释自己的嵌入。SelfIE 能够解释隐藏嵌入中的开放世界概念，在做出道德决定、内化及时注入和召回有害知识等情况下揭示 LLM 内部推理。SelfIE 关于隐藏嵌入的文本描述为控制 LLM 推理开辟了途径。我们提出了 Supervised Control，它允许编辑开放式概念，同时只需要单个层的梯度计算。我们将 RLHF 扩展到隐藏的嵌入，并提出了 Reinforcement Control，可以在没有监督目标的情况下擦除 LLM 中的有害知识。

1 引言

大型语言模型（LLM）已成为从编程、问答到医疗保健等广泛应用的基础。然而，这些模型在很大程度上是黑箱，在推理过程中如何做出决策的透明度有限。解释LLM学习的表示对于在许多应用程序中建立信任以及揭示最先进的方法是推理还是只是重复训练集非常重要。
机器学习中的一个长期问题是，人们一直在努力揭