神经网络中快速傅立叶变换(FFT)的梯度传递

最新推荐文章于 2024-06-15 20:37:58 发布
原创 最新推荐文章于 2024-06-15 20:37:58 发布 · 6.6k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在神经网络中如何处理快速傅立叶变换(FFT)的梯度传递问题。作者通过复习离散傅立叶变换(DFT)和雅可比矩阵，详细探讨了在实数和复数领域的梯度计算。傅立叶变换矩阵被证明是一个按比例缩放的酉矩阵，其逆矩阵是其共轭转置的1/N。因此，FFT的反向传播可以用其逆变换完成，而FFT逆变换的反向传播则用FFT本身。

最近需要在神经网络中构造复数酉矩阵做权重系数,使用了快速傅立叶变换和反变换.
但是FFT不是theano的现成操作模块(有人写过对应的代码,所以应该会很快加进去了),所以想自己去写梯度传递来彻底搞清楚这件事.
重新学一遍离散Fourier transform再加找梯度相关的文献学习,整整花了一周时间.从本科一毕业DFT就忘光了...
在此总结了下,不得不说推倒的结果出来以后,真是出乎意料的漂亮,所以实现起来更是异常简单.


傅立叶变换是线性变换.所以可以写成F(x)=Fx的形式, F是复矩阵,x是向量.
如果是实数,根据d/dx (Ay)=A * d/dx (y). 大白话说,矩阵F乘向量x这种运算的雅可比矩阵(雅可比矩阵是函数的一阶偏导数以一定方式排列成的矩阵)就是F矩阵本身.
雅可比矩阵乘以输出端梯度就可以由F和向量的乘法实现了.
ok,拓展到复数领域,用的是F的共轭转置,这里有个简单的例子大概理解一下https://math.stackexchange.com/questions/828689/complex-function-and-jacobian-matrix.
然而傅立叶变换矩阵不只如此,傅立叶变换矩阵F本身是个按比例(1/sqrt(N))缩放过的酉矩阵(scaled unitary matrix),其逆矩阵就是其共轭转置的1/N, 具体的请看多伦多大学的论文证明11页23式(http://www.cs.toronto.edu/~jepson/csc320/notes/fourier.pdf)
这么一来,求傅立叶变换的梯度反向传播,就是用傅立叶逆变换完成.注意,我们乎略1/N这个比例系数.因为如果把傅立叶变换矩阵用sqrt(N)缩放一下编成酉矩阵的话,比例系数就是1了.
反之,傅立叶逆变换的梯度反向传播,就是用傅立叶变换了来实现了.
奇妙~!


参考:

斯坦福大学快速傅立叶变换课堂视频  http://open.163.com/movie/2008/2/A/L/M7Q4BLENR_M7QDNTVAL.html

傅立叶变换的在线教程  http://fourier.eng.hmc.edu/e161/lectures/fourier/fourier.html

西电DFT与FFT课件  http://web.xidian.edu.cn/kywang/files/20121027_164737.pdf

酉矩阵  https://zh.wikipedia.org/wiki/%E9%85%89%E7%9F%A9%E9%98%B5

谷歌群组的讨论  https://groups.google.com/forum/#!topic/theano-dev/ZqSf3lBH89U

Keras深度学习实战（41）——语音识别
盼小辉丶的博客
12-18 9260
语音识别 (Automatic Speech Recognition, ASR) 是人工智能领域里一个重要的研究方向，是人机交互的重要方式。对于如何实现语音识别，将语音序列转化为文本序列一直以来都是研究人员关注的重点领域，近年来神经网络技术在语音识别领域的应用快速发展，已经成为语音识别领域中主流的声学建模技术。在本节中，我们利用 Keras 实现了端到端的深度神经网络模型，达到将语音文件转录为文字的目的。
【图像超分】论文精读：Navigating Beyond Dropout: An Intriguing Solution Towards Generalizable Image Super Resol
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
05-28 1292
近年来，深度学习在单图像超分辨率 (SISR) 性能方面取得了巨大飞跃。虽然大多数现有的工作假设一个简单而固定的退化模型(如双三次下采样)，但盲SR的研究试图提高模型泛化能力，退化未知。最近，Kong等人[37]利用Dropout[63]研究了更合适的盲SR训练策略。尽管这种方法确实通过减轻过度拟合带来了实质性的改进，但我们认为 Dropout 同时引入了不希望的副作用，这损害了模型忠实地重建精细细节的能力。我们在本文中展示了理论和实验分析，此外，我们提出了另一种简单而有效的训练策略，通过简单地调制模型的一
手写单层神经网络------实现高精度电力系统谐波（频谱）分析（附matlab代码）
意疏的学习笔记
10-29 3876
前言 本文是对王小华的一篇论文《一种新的基于神经网络的高精度电力系统谐波分析算法》的理解和代码实现，涉及电气专业的一个课程设计，通过它可以对一个信号进行类似于傅里叶变换的频谱分析。它主要依靠单层神经网络来实现，将频谱信息放到单层神经网络权重中，然后用采集到的系列样本点去迭代优化这些权重参数，优化完成的权重参数通过简单的计算便可得到原信号的频谱，经过试验，精度非常高。 模型建立 ...
numpy.fft 与 torch.fft函数使用
qq_43701910的博客
06-15 1543
：fft2仅支持对两个轴进行傅里叶变换，并且默认是最后两个轴，而fft.fftn支持对所有轴进行傅里叶变换，默认是全部的轴。
蝶形算法的实现
weixin_43968113的博客
03-20 569
傅里叶变换的实现
卷积神经网络FFT变换后数据的方差分布情况探究
qq_40268672的博客
07-14 483
import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torchvision import datasets, transforms BATCH_SIZE=512 # 批次大小 EPOCHS=10 # 总共训练批次 DEVICE = torch.device("cuda" if torch.cuda.is_available() else "cpu") # 让t
深度学习之循环神经网络（3）梯度传播
weixin_43360025的博客
10-04 783
深度学习之循环神经网络（3）梯度传播  通过循环神经网络的更新表达式可以看出输出对张量Wxh\boldsymbol W_{xh}Wxh​、Whh\boldsymbol W_{hh}Whh​和偏置b\boldsymbol bb均是可导的，可以利用自动梯度算法来求解网络的梯度。此处我们仅简单地推导一下RNN的梯度传播公式，并观察其特点。  考虑梯度∂L∂Whh\frac{∂\mathcal L}{∂\boldsymbol W_{hh}}∂Whh​∂L​，其中L\mathcal LL为网络的误差，只考虑最后一个时
matlab神经网络 误差曲线,神经网络如何输出各层训练误差曲线？
weixin_39638801的博客
03-18 1678
clear all;close all;echo off;fc=20000; %载波频率fs=40000; %采样速率k=2;code_size=15*round(k*fs/fc); %信息码元长度t0=5.5; %信号长度Ns=256; %采样点个数fd=200; %符号速率ts=1/fs; %采样周期M=64 %码元个数ti=1/fd; %码元间隔N=ti/tst=[0:ts:t0];sele...
（论文加源码）基于deap的脑电情绪识别分别使用cnn和lstm对比
qq_45874683的博客
03-17 3931
在本文中，我们比较了深度学习模型：长短时记忆（LSTM）和卷积神经网络（CNN）在80-20次和75-25次训练测试分割比例中的表现。LSTM对like维度的情绪的识别率最高，为88.6%。CNN也给出了87.72%的准确率，因为它能够从输入信号中提取空间特征。因此，在这种情况下，这两种模型都非常好。 在本文中，我们提出了两种深度学习模型LSTM（长-短期记忆）和CNN（卷积神经网络）之间的一个独特比较，在这两种结构中，我们将预处理的DEAP数据分为两个部分（训练集和测试集），即75-25和80-20，在
import torch import torch.nn as nn import torch.optim as optim import numpy as np import torchvision.transforms as transforms from PIL import Image import os from torch.utils.data import DataLoader, Dataset import torch.nn.functional as F from torchvision.utils import save_image import matplotlib matplotlib.use('TkAgg') # 或者使用 'Agg'，如果你只需要保存图片 import matplotlib.pyplot as plt # ============================ # 光学前向传播 (角谱法) # ============================ def angular_spectrum_propagation(E0, z, wavelength, pixel_size): k = 2 * np.pi / wavelength N, M = E0.shape[-2:] fx = np.fft.fftfreq(N, d=pixel_size) fy = np.fft.fftfreq(M, d=pixel_size) FX, FY = np.meshgrid(fx, fy) # 计算角谱传播 H = np.exp(1j * k * z * np.sqrt(1 - (wavelength * FX)**2 - (wavelength * FY)**2)) E0_ft = np.fft.fft2(E0) E_z_ft = E0_ft * H E_z = np.fft.ifft2(E_z_ft) return E_z # ============================ # 模拟光学传播过程 # ============================ class OpticalForwardModel(nn.Module): #定义了一个神经网络类OF，继承自tnM,所有神经网络必须继承 def __init__(self): super(OpticalForwardModel, self).__init__() self.thickness = nn.Parameter(torch.rand(5) * 300) #可变参数 """ self.thickness：可训练的参数 nn.P 它是包含5个随机值的张量(torch.rand(5))，初始值（0，1） """ def forward(self, x): #前向传输，x是传入的原始图片 x_np = x.detach().cpu().numpy().squeeze() E0 = x_np """ x 是原始输入图片（格式是 torch.tensor） .detach()：阻断该张量的计算图，防止梯度回传，因为光场传输不是反向传播的一部分。 .cpu()：如果图片在GPU上，将其搬运回CPU，便于用Numpy计算 .numpy()：将 torch.Tensor 转换成 Numpy数组，方便进行光场传输模拟 它是包含5个随机值的张量(torch.rand(5))，初始值（0，1） .squeeze()：去除所有维度为1的通道， """ for i in range(5): #光场的传播模拟 E0 = angular_spectrum_propagation( E0, z=self.thickness[i].item() * 1e-9, wavelength=532e-9, pixel_size=0.5e-6 ) #调用函数 #确保输出是一个Tensor，并需要计
最新发布
03-13
- **执行快速傅立叶变换(FFT)**：对输入场分布做二维离散傅里叶变换得到其频率分量；接着乘上预先准备好的传递函数矩阵；最后再反向傅里叶变换成实空间中的输出场强度分布[^2]。 ```python import torch from scipy...
深度学习-神经网络：卷积的实现方法【直接法（精度没损失）、GEMM（矩阵乘法，精度没损失）、FFT（傅里叶变换，精度有损失）、Winograd（精度有损失）】
u013250861的博客
06-12 432
深度学习-神经网络：卷积的实现方法【直接法（精度没损失）、GEMM（矩阵乘法，精度没损失）、FFT（傅里叶变换，精度有损失）、Winograd（精度有损失）】
将Fnet 的fft层 替换为cnn 将位置编码替换为fft 加速收敛 实现文本分类
东方佑
07-08 344
这段代码是一个基于PaddlePaddle的编码器模型实现。主要包含三个类：FeedForward、EncoderBlock和Fnet。FeedForward类定义了一个前馈神经网络，包含两个全连接层和一层GELU激活函数。它将输入进行线性变换、激活和dropout操作后输出。EncoderBlock类定义了一个编码器块，包含一个LayerNorm层、一个FeedForward层和另一个LayerNorm层。它还包括一个1D卷积层，用于从隐藏维度（hiddendimension）中提取特征。
傅里叶变换
minyangchina的专栏
07-07 1376
傅立叶变换是数字信号处理领域一种很重要的算法。但是该算法到底有何意义呢？       要知道傅立叶变换算法的意义，首先要了解傅立叶原理的意义。傅立叶原理表明：任何连续测量的时序或信号，都可以表示为不同频率的正弦波信号的无限叠加。而根据该原理创立的傅立叶变换算法利用直接测量到的原始信号，以累加方式来计算该信号中不同正弦波信号的频率、振幅和相位。        和傅立叶变换算
机器学习算法基础知识点复习2——L1与L2正则化、梯度、散度、旋度、拉普拉斯算子、傅里叶变换
weixin_38278993的博客
03-21 2635
正则化 我们所说的正则化，就是在原来的loss function的基础上，加上了一些正则化项或者称为模型复杂度惩罚项。 以线性回归为例： 结构风险最小化： 在经验风险最小化的基础上（也就是训练误差最小化），尽可能采用简单的模型，以此提高泛化预测精度。 举一个通俗的栗子：当针对样本（1,1,1,1）有w1（1,0,0,0）与w2（1/4,1/4,1/4,1/4）计算得到的结果相同，此时选...
图像处理之傅里叶变换和小波变换
Linda的博客
07-07 1万+
最近在看物体识别论文摘要，好多论文中涉及到使用离散余弦傅里叶变换DFT（Discrete Fourier Transform）对图像进行处理，因此特地看了这部分的内容，傅里叶变换和小波变换。一、DFT的原理：以二维图像为例，归一化的二维离散傅里叶变换可以写成如下形式：其中f(x,y)表示图像的空间域的值，而F表示频域的值，傅里叶转换的结果为复数，这也表明，傅里叶变换其实是一副实数图像和虚数图像叠加...
基于ppg和fft神经网络的光学血压估计【翻译】
qq_16024557的博客
07-05 2188
从医学角度谈了ppg和血压
torch.fft
热门推荐
正在挣扎中的人
01-08 1万+
用pytorch实现离散傅立叶变换
pytorch 笔记：torch.fft
qq_40206371的博客
03-06 5361
进行一个维度的快速傅里叶变换。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值