大模型学习忘记不想要的东西

虽然大型语言模型越来越擅长从大量数据中学习，但一种相反的新技术让科技公司热议：机器反学习。

这种相对较新的方法教会 LLMs 忘记或“忘却”敏感、不受信任或受版权保护的数据。它比从头开始重新训练模型更快，并且可以追溯删除特定的不需要的数据或行为。

因此，IBM、Google 和 Microsoft 等科技巨头正在努力为机器取消学习做好准备，这并不奇怪。然而，对忘却技术的日益关注也凸显了这种技术的一些问题：忘记太多的模型，以及缺乏全行业工具来评估忘却的有效性。

从学习到忘却

在 TB 级数据上进行训练，LLMs“学习”做出决策和预测，而无需明确编程。随着算法模仿人类的学习方式，逐渐提高它们生成的内容的准确性，这个被称为