A Shared Attention Framework for Parameter-Efficient Continual Learning of Large Language Models

本文是LLM系列文章，针对《SAPT: A Shared Attention Framework for Parameter-Efficient Continual Learning of Large Language Models》的翻译。

摘要

持续学习（CL）能力对于在动态世界中部署大型语言模型（LLM）至关重要。现有的方法设计了学习模块来获取具有参数有效调整（PET）块的特定任务知识，并设计了选择模块来为测试输入挑选相应的知识，旨在应对CL中灾难性遗忘和知识迁移的挑战。然而，这些方法往往只解决其中一个挑战，忽略了将两个模块对齐以同时有效解决灾难性遗忘和知识迁移的潜力。为此，我们提出了一种新的共享注意力框架（SAPT），通过共享注意力学习和选择模块来调整PET的学习和选择。在两个CL基准上的大量实验证明了SAPT的优越性。此外，当我们将SAPT扩展到不同的模型大小（从770M到13B）、不同的模型架构（T5和LLaMA-2）和看不见的任务时，SAPT始终证明了它的优势。

1 引言

2 相关工作

3 问题定义和设置

4 方法