MASSIVE EDITING FOR LARGE LANGUAGE MODELS VIA META LEARNING

本文是LLM系列文章，针对《MASSIVE EDITING FOR LARGE LANGUAGE MODELS VIA META LEARNING》的翻译。

摘要

虽然大型语言模型（LLM）已经能够从预训练语料库中学习知识，但随着时间的推移，所获得的知识可能从根本上是不正确的或过时的，这需要在训练后纠正语言模型（LM）的知识。一种有前途的方法涉及使用超网络来生成参数偏移，而现有的超网络在同步编辑操作量方面具有较差的可扩展性。为了缓解这个问题，我们提出了大规模语言模型编辑网络（MALMEN），它将参数偏移聚合公式化为最小二乘问题，然后使用正规方程更新LM参数。为了在有限的内存预算下同时编辑多个事实，我们将超网络和LM上的计算分开，从而在两个神经网络上实现任意批量。我们的方法是通过在具有不同架构的LMs上编辑多达数千个事实来评估的，即BERT基础、GPT-2、T5-XL（2.8B）和GPT-J（6B），跨越各种知识密集型NLP任务，即闭书事实核查和问答。值得注意的是，在相同的超网络架构下，MALMEN能够编辑比强基线多数百倍的事实，并且优于专门为GPT设计的编辑器。我们的代码在https://github.com/chenmientan/malmen上可用.

1 引言

2 相关工作

3 问题定义

4 方法

5 经验评价

6 讨论

我们提出了一种可扩展到数千个事实的LM编辑超网络，称为大规模语言模型编辑网络（MALM