The FFT Strikes Back: An Efficient Alternative to Self-Attention

摘要

传统的自注意力机制具有二次复杂度，这限制了它们在长序列上的可扩展性。我们引入了FFTNet，这是一种自适应频谱滤波框架，它利用快速傅里叶变换（FFT）在$O(n$