MINILM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers

NeurIPS 2020

论文链接：[2002.10957] MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers

代码链接：unilm/minilm at master · microsoft/unilm · GitHub

摘要

提出了一种高效的模型压缩方法，称为 MiniLM，通过 深度自注意力蒸馏（Deep Self-Attention Distillation） 来压缩大规模预训练语言模型

•  MiniLM通过教师模型最后一层的 自注意力分布 和 值关系 指导学生模型的训练
• 学生模型无需与教师模型层数或隐藏维度严格匹配，实现了更高的灵活性和效率。

研究背景

• LLM在性能上表现优异，但它们通常包含数亿甚至数十亿参数：对硬件资源要求高、训练慢
• 现有模型压缩技术的不足
  • ​​​​​​​参数剪枝：降低了部分参数的复杂性，但可能会显著影响模型性能。
  • 知识蒸馏：大多数方法需要在层与层之间严格对齐，或引入复杂的架构调整，灵活性较低，且可能导致性能损失
• ​​​​​​​​​​​​​​自注意力机制的潜力：自注意力分布和值关系中包含了模型的深层特征信息，如何通过这些特征进行高效的知识蒸馏是一个值得探索的方向

需要解决的问题

如何高效传递教师模型的深层知识（自注意力分布和值关系），增强学生模型的特征表达能力

解决方法

 解决方法是 深度自注意力蒸馏（Deep Self-Attention Distillation），结合自注意力分布和值关系两种知识提取技术，高效地压缩了预训练语言模型

• 提取自注意力分布
• 提取值关系