A Moral Imperative: The Need for Continual Superalignment of Large Language Models

本文是LLM系列文章，针对《A Moral Imperative: The Need for Continual Superalignment of Large Language Models》的翻译。

摘要

本文探讨了在人工智能系统，特别是大型语言模型（LLM）中实现终身超对齐所面临的挑战。超级对准是一个理论框架，旨在确保超级智能人工智能系统按照人类的价值观和目标行事。尽管其愿景很有希望，但我们认为，实现超对齐需要对当前的LLM架构进行实质性的改变，因为它们在理解和适应这些人类伦理和不断演变的全球场景的动态性质方面存在固有的局限性。我们剖析了将不断变化的人类价值观编码到LLM中的挑战，强调了静态人工智能模型与人类社会动态本质之间的差异。为了说明这些挑战，我们分析了两个不同的例子：一个展示了人类价值观的质的转变，而另一个则呈现了可量化的变化。通过这些例子，我们说明了LLM如何受到其训练数据的约束，无法与当代人类价值观和场景保持一致。论文最后探讨了解决并可能缓解这些对齐差异的潜在策略，为追求更具适应性和响应能力的人工智能系统指明了前进的道路。

1 引言

2 相关工作

3 超对齐的挑战

4 经验评估

5 潜在的策略

6 结论

这项研究深入探讨了超对齐大型语言模型（LLM）与人类价值观、情景和全球趋势的动态和演变景观相关的挑战和潜在策略。通过我们的案例研究，我们强调了LLM对其训练数据的关键依赖性，这些数据虽然全面，但往往无法概括现实世界中固有的快速变化，尤其是在训练期后的场景中。
为了应对这些对齐挑战，我们概述了几种策略，包括持续学习、实时数据集成、人在