DiJiang: Efficient Large Language Models through Compact Kernelization

本文是LLM系列文章，针对《DiJiang: Efficient Large Language Models through Compact Kernelization》的翻译。

摘要

为了减少Transformer的计算负载，对线性注意力的研究取得了显著的进展。然而，注意力机制的改进策略通常需要进行广泛的再训练，这对于具有大量参数的大型语言模型来说是不切实际的。在本文中，我们提出了DiJiang，这是一种新的频域核化方法，它能够将预先训练的vanilla Transformer转换为线性复杂度模型，而训练成本很低。通过采用加权拟蒙特卡罗方法进行采样，该方法在理论上提供了优越的近似效率。为了进一步降低训练的计算复杂度，我们的核化是基于离散余弦变换（DCT）运算的。大量实验表明，所提出的方法实现了与原始Transformer相当的性能，但显著降低了训练成本和更快的推理速度。我们的DiJiang-7B在各种基准测试中实现了与LLaMA2-7B相当的性能，而只需要大约1/50的训练成本。代码位于https://github.com/YuchuanTian/DiJiang.

1 引言

2 相关工作

3 频域中