The FFT Strikes Back: An Efficient Alternative to Self-Attention

摘要

传统的自注意力机制具有二次复杂度，这限制了它们在长序列上的可扩展性。我们引入了FFTNet，这是一种自适应频谱滤波框架，它利用快速傅里叶变换（FFT）在$O(nlogn)$时间内实现全局token混合。通过将输入转换到频域，FFTNet利用Parseval定理保证的正交性和能量守恒来有效地捕捉长距离依赖关