ALIGNER: ONE GLOBAL TOKEN IS WORTH MILLIONS OF PARAMETERS WHEN ALIGNING LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《ALIGNER: ONE GLOBAL TOKEN IS WORTH MILLIONS OF PARAMETERS WHEN ALIGNING LARGE LANGUAGE MODELS》的翻译。

摘要

我们介绍了Aligner，这是一种新的参数有效微调（PEFT）方法，用于对齐数十亿参数大小的大型语言模型（LLM）。Aligner采用了一种独特的设计，构建了一组全局共享的可调标记，这些标记可以修改每一层的注意力。值得注意的是，使用这种方法，即使使用一个仅占5000个参数的token，Aligner仍然可以与最先进的LLM自适应方法（如需要数百万个参数的LoRA）相比表现良好。这种能力在指令遵循和价值调整任务中都得到了证实。除了参数效率的多个数量级提高外，Aligner对LLM内部机制的深入了解也很有价值。除了我们的实验之外，我们方法的架构特征和有效性还表明，LLM以某种正交的方式将其对“形式”和“知识”的内部处理分离开来。这一发现有望推动LLM机制理解和价值取向的新研究。

1 引言

2 相关工作

3 实验

4 方法

5 讨论

6 结论

我们介绍了一种新的参数高效微调方法，该方法仅使用一个或十个token，就可以实现与最先进的大参数方法（如LLaMA Adapter和LoRA）相比的跨LLM模型规模性能，