神经网络中快速傅立叶变换(FFT)的梯度传递_torch.fft能传导梯度吗-优快云博客

本文介绍了在神经网络中如何处理快速傅立叶变换(FFT)的梯度传递问题。作者通过复习离散傅立叶变换(DFT)和雅可比矩阵，详细探讨了在实数和复数领域的梯度计算。傅立叶变换矩阵被证明是一个按比例缩放的酉矩阵，其逆矩阵是其共轭转置的1/N。因此，FFT的反向传播可以用其逆变换完成，而FFT逆变换的反向传播则用FFT本身。

最近需要在神经网络中构造复数酉矩阵做权重系数,使用了快速傅立叶变换和反变换.
但是FFT不是theano的现成操作模块(有人写过对应的代码,所以应该会很快加进去了),所以想自己去写梯度传递来彻底搞清楚这件事.
重新学一遍离散Fourier transform再加找梯度相关的文献学习,整整花了一周时间.从本科一毕业DFT就忘光了...
在此总结了下,不得不说推倒的结果出来以后,真是出乎意料的漂亮,所以实现起来更是异常简单.

傅立叶变换是线性变换.所以可以写成F(x)=Fx的形式, F是复矩阵,x是向量.
如果是实数,根据d/dx (Ay)=A * d/dx (y). 大白话说,矩阵F乘向量x这种运算的雅可比矩阵(雅可比矩阵是函数的一阶偏导数以一定方式排列成的矩阵)就是F矩阵本身.
雅可比矩阵乘以输出端梯度就可以由F和向量的乘法实现了.
ok,拓展到复数领域,用的是F的共轭转置,这里有个简单的例子大概理解一下https://math.stackexchange.com/questions/828689/complex-function-and-jacobian-matrix.
然而傅立叶变换矩阵不只如此,傅立叶变换矩阵F本身是个按比例(1/sqrt(N))缩放过的酉矩阵(scaled unitary matrix),其逆矩阵就是其共轭转置的1/N, 具体的请看多伦多大学的论文证明11页23式(http://www.cs.toronto.edu/~jepson/csc320/notes/fourier.pdf)
这么一来,求傅立叶变换的梯度反向传播,就是用傅立叶逆变换完成.注意,我们乎略1/N这个比例系数.因为如果把傅立叶变换矩阵用sqrt(N)缩放一下编成酉矩阵的话,比例系数就是1了.
反之,傅立叶逆变换的梯度反向传播,就是用傅立叶变换了来实现了.
奇妙~!