Large Language Model Alignment: A Survey

本文是LLM系列文章，针对《Large Language Model Alignment: A Survey》的翻译。

摘要

近年来，大型语言模型(llm)取得了显著的进展。这些进步虽然引起了极大的注意，但同时也引起了各种关切。不可否认，这些模式的潜力是巨大的；然而，它们可能产生不精确、误导甚至有害的文本。因此，使用对齐技术来确保这些模型展示与人类价值一致的行为变得至关重要。
这项调查努力提供一个广泛的探索为LLM设计的对齐方法，结合现有的能力研究在这个领域。采用人工智能对齐的视角，我们将llm对齐的主流方法和新兴建议分为外部对齐和内部对齐。我们还探讨了一些突出的问题，包括模型的可解释性，以及对对抗性攻击的潜在脆弱性。为了评估LLM的一致性，我们提出了各种各样的基准和评估方法。在讨论了LLM对齐研究的现状之后，我们最终展望了未来，思考了未来有希望的研究途径。
我们对这项调查的期望不仅仅是激发这一领域的研究兴趣。我们还设想弥合人工智能校准研究社区与专注于llm能力探索的研究人员之间的差距，以实现有能力和安全的llm。

1 引言

2 为什么需要LLM对齐？

3 什么是LLM对齐？

4 外部