DiJiang: Efficient Large Language Models through Compact Kernelization

本文是LLM系列文章，针对《DiJiang: Efficient Large Language Models through Compact Kernelization》的翻译。

摘要

为了减少Transformer的计算负载，对线性注意力的研究取得了显著的进展。然而，注意力机制的改进策略通常需要进行广泛的再训练，这对于具有大量参数的大型语言模型来说是不切实际的。在本文中，我们提出了DiJiang，这是一种新的频域核化方法，它能够将预先训练的vanilla Transformer转换为线性复杂度模型，而训练成本很低。通过采用加权拟蒙特卡罗方法进行采样，该方法在理论上提供了优越的近似效率。为了进一步降低训练的计算复杂度，我们的核化是基于离散余弦变换（DCT）运算的。大量实验表明，所提出的方法实现了与原始Transformer相当的性能，但显著降低了训练成本和更快的推理速度。我们的DiJiang-7B在各种基准测试中实现了与LLaMA2-7B相当的性能，而只需要大约1/50的训练成本。代码位于https://github.com/YuchuanTian/DiJiang.

1 引言

2 相关工作

3 频域中的核化注意力

4 实验

5 结论

本文介绍了DiJiang，这是一种开创性的频域核化方法，旨在解决传统Transformer模型固有的计算效率低下的问题。通过利用线性注意力机制和加权拟蒙特卡罗方法的新应用进行有效采样，我们的方法显著减少了广泛再训练的必要性。这对大型语言模型尤其有益，因为与