你还弄不懂的傅里叶变换,神经网络只用了30多行代码就学会了

基于深度学习的轴承故障诊断 该专栏将较为详细的介绍如何利用深度学习进行故障诊断方面的学术研究,主要以轴承为例,包括深度学习常用框架Tensorflow的搭建以及使用,并会记录完整搭建过程,并以卷积神经网络与循环神经网络为例进行代码编写和实际运行,相信经过本次学习,你能够入门开始着手研究。 完成该专栏的学习,你将会收获以下知识: 1.Anaconda的安装以及使用,深度学习框架Tensorflow2的安装以及使用 2.学会如何利用卷积神经网络与循环神经网络进行轴承故障诊断-以凯斯西楚大学轴承数据集为例 3.学会一些常用调参技巧 阅读详情
明敏 发自 凹非寺
来源  量子位

在我们的生活中,大到天体观测、小到MP3播放器上的频谱,没有傅里叶变换都无法实现。

通俗来讲,离散傅里叶变换(DFT)就是把一串复杂波形中分成不同频率成分。

比如声音,如果用声波记录仪显示声音的话,其实生活中绝大部分声音都是非常复杂、甚至杂乱无章的。

而通过傅里叶变换,就能把这些杂乱的声波转化为正弦波,也就是我们平常看到的音乐频谱图的样子。

不过在实际计算中,这个过程其实非常复杂。

如果把声波视作一个连续函数,它可以唯一表示为一堆三角函数相叠加。不过在叠加过程中,每个三角函数的加权系数不同,有的要加高一些、有的要压低一些,有的甚至不加。

傅里叶变换要找到这些三角函数以及它们各自的权重。

这不就巧了,这种找啊找的过程,像极了神经网络。

神经网络的本质其实就是逼近一个函数。

那岂不是可以用训练神经网络的方式来搞定傅里叶变换?

这还真的可行,并且最近有人在网上发布了自己训练的过程和结果。

DFT=神经网络

该怎么训练神经网络呢?这位网友给出的思路是这样的:

首先要把离散傅里叶变换(DFT)看作是一个人工神经网络,这是一个单层网络,没有bias、没有激活函数,并且对于权重有特定的值。它输出节点的数量等于傅里叶变换计算后频率的数量。

具体方法如下:

这是一个DFT:

  • k表示每N个样本的循环次数;

  • N表示信号的长度;

  • 表示信号在样本n处的值。

一个信号可以表示为所有正弦信号的和。

是一个复值,它给出了信号x中频率为k的正弦信号的信息;从我们可以计算正弦的振幅和相位。

换成矩阵式,它就变成了这样:

这里给出了特定值k的傅里叶值。

不过通常情况下,我们要计算全频谱,即k从[0,1,…N-1]的值,这可以用一个矩阵来表示(k按列递增,n按行递增):

简化后得到:

看到这里应该还很熟悉,因为它是一个没有bias和激活函数的神经网络层。

指数矩阵包含权值,可以称之为复合傅里叶权值(Complex Fourier weights),通常情况下我们并不知道神经网络的权重,不过在这里可以。

  • 不用复数

通常我们也不会在神经网络中使用复数,为了适应这种情况,就需要把矩阵的大小翻倍,使其左边部分包含实数,右边部分包含虚数。

将带入DFT,可以得到:

然后用实部(cos形式)来表示矩阵的左半部分,用虚部(sin形式)来表示矩阵的右半部分:

简化后可以得到:

将称为傅里叶权重;

需要注意的是,和实际上包含相同的信息,但是不使用复数,所以它的长度是的两倍。

换句话说,我们可以用或表示振幅和相位,但是我们通常会使用。

现在,就可以将傅里叶层加到网络中了。

用傅里叶权重计算傅里叶变换

现在就可以用神经网络来实现,并用快速傅里叶变换(FFT)检查它是否正确。

import matplotlib.pyplot as plty_real = y[:, :signal_length]y_imag = y[:, signal_length:]tvals = np.arange(signal_length).reshape([-1, 1])freqs = np.arange(signal_length).reshape([1, -1])arg_vals = 2 * np.pi * tvals * freqs / signal_lengthsinusoids = (y_real * np.cos(arg_vals) - y_imag * np.sin(arg_vals)) / signal_lengthreconstructed_signal = np.sum(sinusoids, axis=1)print('rmse:', np.sqrt(np.mean((x - reconstructed_signal)**2)))plt.subplot(2, 1, 1)plt.plot(x[0,:])plt.title('Original signal')plt.subplot(2, 1, 2)plt.plot(reconstructed_signal)plt.title('Signal reconstructed from sinusoids after DFT')plt.tight_layout()plt.show()

rmse: 2.3243522568191728e-15

得到的这个微小误差值可以证明,计算的结果是我们想要的。

  • 另一种方法是重构信号:

import matplotlib.pyplot as plty_real = y[:, :signal_length]y_imag = y[:, signal_length:]tvals = np.arange(signal_length).reshape([-1, 1])freqs = np.arange(signal_length).reshape([1, -1])arg_vals = 2 * np.pi * tvals * freqs / signal_lengthsinusoids = (y_real * np.cos(arg_vals) - y_imag * np.sin(arg_vals)) / signal_lengthreconstructed_signal = np.sum(sinusoids, axis=1)print('rmse:', np.sqrt(np.mean((x - reconstructed_signal)**2)))plt.subplot(2, 1, 1)plt.plot(x[0,:])plt.title('Original signal')plt.subplot(2, 1, 2)plt.plot(reconstructed_signal)plt.title('Signal reconstructed from sinusoids after DFT')plt.tight_layout()plt.show()

rmse: 2.3243522568191728e-15

最后可以看到,DFT后从正弦信号重建的信号和原始信号能够很好地重合。

通过梯度下降学习傅里叶变换

现在就到了让神经网络真正来学习的部分,这一步就不需要向之前那样预先计算权重值了。

首先,要用FFT来训练神经网络学习离散傅里叶变换:

import tensorflow as tfsignal_length = 32# Initialise weight vector to train:W_learned = tf.Variable(np.random.random([signal_length, 2 * signal_length]) - 0.5)# Expected weights, for comparison:W_expected = create_fourier_weights(signal_length)losses = []rmses = []for i in range(1000): # Generate a random signal each iteration: x = np.random.random([1, signal_length]) - 0.5 # Compute the expected result using the FFT: fft = np.fft.fft(x) y_true = np.hstack([fft.real, fft.imag]) with tf.GradientTape() as tape: y_pred = tf.matmul(x, W_learned) loss = tf.reduce_sum(tf.square(y_pred - y_true)) # Train weights, via gradient descent: W_gradient = tape.gradient(loss, W_learned) W_learned = tf.Variable(W_learned - 0.1 * W_gradient) losses.append(loss) rmses.append(np.sqrt(np.mean((W_learned - W_expected)**2)))

Final loss value 1.6738563548424711e-09Final weights' rmse value 3.1525832404710523e-06



得出结果如上,这证实了神经网络确实能够学习离散傅里叶变换。

训练网络学习DFT

除了用快速傅里叶变化的方法,还可以通过网络来重建输入信号来学习DFT。(类似于autoencoders自编码器)。

自编码器(autoencoder, AE)是一类在半监督学习和非监督学习中使用的人工神经网络(Artificial Neural Networks, ANNs),其功能是通过将输入信息作为学习目标,对输入信息进行表征学习(representation learning)。

W_learned = tf.Variable(np.random.random([signal_length, 2 * signal_length]) - 0.5)tvals = np.arange(signal_length).reshape([-1, 1])freqs = np.arange(signal_length).reshape([1, -1])arg_vals = 2 * np.pi * tvals * freqs / signal_lengthcos_vals = tf.cos(arg_vals) / signal_lengthsin_vals = tf.sin(arg_vals) / signal_lengthlosses = []rmses = []for i in range(10000): x = np.random.random([1, signal_length]) - 0.5 with tf.GradientTape() as tape: y_pred = tf.matmul(x, W_learned) y_real = y_pred[:, 0:signal_length] y_imag = y_pred[:, signal_length:] sinusoids = y_real * cos_vals - y_imag * sin_vals reconstructed_signal = tf.reduce_sum(sinusoids, axis=1) loss = tf.reduce_sum(tf.square(x - reconstructed_signal)) W_gradient = tape.gradient(loss, W_learned) W_learned = tf.Variable(W_learned - 0.5 * W_gradient) losses.append(loss) rmses.append(np.sqrt(np.mean((W_learned - W_expected)**2)))

Final loss value 4.161919455121241e-22Final weights' rmse value 0.20243339269590094

作者用这一模型进行了很多测试,最后得到的权重不像上面的例子中那样接近傅里叶权值,但是可以看到重建的信号是一致的。

换成输入振幅和相位试试看呢。

W_learned = tf.Variable(np.random.random([signal_length, 2 * signal_length]) - 0.5)losses = []rmses = []for i in range(10000): x = np.random.random([1, signal_length]) - .5 with tf.GradientTape() as tape: y_pred = tf.matmul(x, W_learned) y_real = y_pred[:, 0:signal_length] y_imag = y_pred[:, signal_length:] amplitudes = tf.sqrt(y_real**2 + y_imag**2) / signal_length phases = tf.atan2(y_imag, y_real) sinusoids = amplitudes * tf.cos(arg_vals + phases) reconstructed_signal = tf.reduce_sum(sinusoids, axis=1) loss = tf.reduce_sum(tf.square(x - reconstructed_signal)) W_gradient = tape.gradient(loss, W_learned) W_learned = tf.Variable(W_learned - 0.5 * W_gradient) losses.append(loss) rmses.append(np.sqrt(np.mean((W_learned - W_expected)**2)))

Final loss value 2.2379359316633115e-21Final weights' rmse value 0.2080118219691059


可以看到,重建信号再次一致;

不过,和此前一样,输入振幅和相位最终得到的权值也不完全等同于傅里叶权值(但非常接近)。

由此可以得出结论,虽然最后得到的权重还不是最准确的,但是也能够获得局部的最优解。

这样一来,神经网络就学会了傅里叶变换!

  • 值得一提的是,这个方法目前还有疑问存在:

首先,它并没有解释计算出的权值和真正的傅里叶权值相差多少;

而且,也没有说明将傅里叶层放到模型中能带来哪些益处。

原文链接:
https://sidsite.com/posts/fourier-nets/

从图傅里叶变换到图卷积神经网络 从图傅里叶变换出发推到图卷积神经网络的传播公式 阅读详情

相关推荐

通过快速傅里叶变换得到三角插值多项式

通过快速傅里叶变换得到三角插值多项式 一、题目 编程实现快速傅里叶变换算法,使用快速傅里叶变换确定函数f(x)在[-π, π ]上的16次三角插值多项式。 f(x)=x2cosx.f(x) = x^2cosx.f(x)=x2cosx. 二、快速傅里叶变换的理论基础 首先,应该先了解离散傅里叶变换(DFT)的定义。 假定f(x)是一个以2π为周期的复函数,给定了在N个等分点上的值: fj=f(xj)...

weixin_44006884的博客 6232

傅里叶变换在深度学习中的应用

本文深入探讨了傅里叶变换在深度学习领域的多种应用。首先介绍了傅里叶变换的基本原理,包括离散傅里叶变换(DFT)和快速傅里叶变换(FFT)。然后详细阐述了其在数据预处理、特征提取、模型优化等方面的应用,分析了傅里叶变换如何帮助深度学习模型更好地处理图像、音频和时间序列数据等,提高模型的性能和泛化能力,同时也讨论了相关的挑战和未来发展方向。

m0_44975814的博客 3903

【图神经网络】图神经网络(GNN)学习笔记:图信号处理与图傅里叶变换

图神经网络GNN学习笔记:图信号处理与图卷积神经网络第五章:图信号处理与图卷积神经网络1. 矩阵乘法的三种方式2. 图信号与图的拉普拉斯矩阵3. 图傅里叶变换参考资料 第五章:图信号处理与图卷积神经网络 图信号处理(Graph Signal Processing, GSP)是离散信号处理(Discrete Signal Processing, DSP)理论在图信号领域的应用,其通过对傅里叶变换、滤波等信号处理基本概念的迁移,来研究对图信号的压缩、变换、重构等信号处理的基础任务。 图信号处理与图卷积模型密切

小哲的博客 4187

一个MATLAB中傅里叶级数变换的函数

一个MATLAB中傅里叶级数变换的函数 很多朋友在做傅里叶级数变换时,会发自己的matlab中并不带有傅里叶级数变换函数,这就需要我们自己编一个级数变换函数。在大学高数我们学过傅里叶级数的变换原理,就是下面的公式了,方便大家理解后面的代码。 具体的代码就是下面的了,大家要记得保存为fseries.m格式,今后用时直接调用就可以啦。 function [an,bn,f]=fseries(fx,x...

weixin_43661442的博客 4962

ArcMap学习笔记(三)地图数字化

地图数字化前言地图数字化实现步骤1.加载地形图2.新建要素图层3.开启编辑环境4.设置捕捉环境5.选择数字化图层6.数字化控制点7.数字化等高线8.数字化图幅边框9.保存数字化成果总结 前言 使用软件:ArcMap10.4.1中文版 如果出现侵权,请在评论留言,我会及时删除,谢谢。 地图数字化 空间数据采集(输入)是将现有的地图、外业观测成果、航空像片、遥感图片数据、文本资料等转换成GIS可以直接...

JayWang博客 1万+

告别图像畸变:手把手教你用HALCON的`gen_image_to_world_plane_map`做高精度视觉测量

本文详细解析了HALCON的`gen_image_to_world_plane_map`算子在工业视觉测量中的应用,通过精确的几何变换消除透视畸变,提升测量精度。文章涵盖相机标定、世界坐标系建立、实战应用及性能优化,适用于液晶屏质检、金属板检测等场景,帮助工程师实现高精度视觉测量。

weixin_28718487的博客 424

从傅里叶变换看seq2seq

通常使用循环神经网络处理NLP(自然语言处理)问题,循环神经网络模型特点决定了输出与输入维度不同,但数量相同,这显然有违常识,比如分词后中文句子'我去上班'翻译成英文后是'i am going to work',源语言与目标语言在表达同一个意思时,单词的数量是不一样的,Minh-Thang Luong 于 2016 年发表了论文“Neural Machine Translation”,引入了编码器–解码器结构,seq2seq利用这个结构可实现机器翻译、对话系统、文摘功能。 一、seq2seq模型 处..

m2xgo的博客 1139

手把手教你用STM32F103实现CAN总线双机通信(基于CubeMX+HAL库)

本文详细介绍了基于STM32F103和STM32CubeMX工具实现CAN总线双机通信的完整流程。文章重点解析了CAN总线在嵌入式物联网应用中的优势,并深入讲解了波特率计算、过滤器配置、接收中断处理等关键细节,提供了实用的代码框架和可靠传输方案,帮助开发者规避常见陷阱,构建稳定的工业级通信系统。

weixin_29193259的博客 482

图神经网络学习笔记(1)——图信号与图傅里叶变换

图神经网络学习笔记——图信号与图傅里叶变换

weixin_40718664的博客 1万+

基于DPABI和SPM12的任务态fMRI分析笔记1——预处理

前言 原理简介 预处理

Sophia2023的博客 1万+

Open3D 基于法线的双边滤波

基于法线的双边滤波是一种用于点云平滑的技术,它结合了点与其邻域点之间的几何距离和法线方向的相似性,从而在去除噪声的同时保留几何特征。这种滤波方法广泛应用于点云处理领域,尤其是在需要保留表面细节和边缘的场景中。

纵马踏花向自由 2501

【算法】傅里叶变换

傅里叶变换的基本思想是将一个时域信号分解为多个不同频率的正弦和余弦波的叠加。:相比DFT,FFT通过减少乘法次数来提高计算效率,时间复杂度降低到 𝑂(𝑁log⁡𝑁)O(NlogN)。在实际应用中,例如一个音频处理服务,可以使用傅里叶变换来实现频谱分析或音频特征提取。其中,𝑋[𝑘]X[k] 是信号 𝑥[𝑛]x[n] 的傅里叶变换,𝑁N 是样本点数。:基于定义进行计算,时间复杂度为 𝑂(𝑛2)O(n2),适用于小规模数据。:最常用的高效算法,时间复杂度为 𝑂(𝑛log⁡𝑛)O(nlogn)。

wnm23的专栏 5072

【动态导通电阻】GaN功率器件中动态导通电阻退化的机制、表征及建模方法

研究目的:鉴于动态RON退化对GaN功率器件性能的显著影响,本文旨在全面综述和讨论GaN功率器件中动态RON退化的机制、表征方法、建模技术以及解决方案,以期为GaN功率器件的设计、优化和应用提供理论指导和实践参考。内容概述:文章首先分析了缓冲层陷阱和栅极不稳定导致动态RON退化的物理机制,并通过物理基础的TCAD模拟与高压背栅测量结果进行对比,揭示缓冲层陷阱的充电/放电过程如何影响动态RON。接着,讨论了不同GaN器件技术中栅极不稳定引起的动态RON增加以及栅极过驱动的作用。

荷塘阅色 1168

[图像处理3]卷积神经网络的底层理解——傅里叶变换

卷积神经网络识别的关键在于隐藏层,能够把图片的特征抽象出来,然后根据特征的线性组合(再通过激活函数增加非线性)去判断是哪个数字。输入层:把数据按照维度摊平展开,输入到神经网络里面……每个维度代表的现实意义都是不一样的,但是图片数据有多少个像素点就有多少个维度,所有维度都是同质的,它们的意义都一样,灰度/RGB值能体现出两种数据不一样。神经网络对这些特征进行就可以做出判断了。把它们输入到神经网络后,它们可以组合成更抽象的特征。

weixin_47133384的博客 2366

利用NLP技术分析爬取的文本数据:Python爬虫与自然语言处理实战

网页爬虫(Web Crawler)是一种自动化脚本,通过模拟人类浏览网页的方式,定期抓取网页内容并进行分析和存储。对于大规模的数据抓取任务,爬虫技术提供了极大的便利。常见的Python爬虫库有requestsSelenium等。在本篇博客中,我们从爬取网页文本数据开始,通过清洗和预处理,最终利用自然语言处理技术(包括情感分析、文本分类等)对数据进行了深度分析。通过该过程,我们展示了如何使用Python爬虫抓取文本数据,并利用NLP技术进行分析和建模。

2201_76125261的博客 628

数据结构课程设计C/C++版--美团餐馆预定信息的管理与分析7 8

本关任务:编写一个能查询预定的程序。输入餐馆名称,查询用户账号为当前登录用户且餐馆名称为当前输入餐馆名称的结点信息,并输出其预定时间。本关任务:编写一个能查看预定的程序。创建链队列,从文件order.txt中读取数据,依次进入链队列中。遍历链队列,筛选出用户账号为当前登录用户的结点信息,并依次输出相应的餐馆名称和预定时间。烤肉刘老北京炙子烤肉(四道口店) 11月20日晚餐 0。外婆家(清河华润五彩城店) 12月12日午餐 0。甜鸭梨烤鸭店(农大店) 12月5日晚餐 0。鼎坤朋湘菜馆 12月8日晚餐 0。

m0_62222486的博客 1352

卷积神经网络中的傅里叶变换:1024x1024 的傅里叶卷积

卷积神经网络 (CNN) 得到了广泛的应用并且事实证明他是非常成功的。但是卷积的计算很低效,滑动窗口需要很多计算并且限制了过滤器的大小,通常在 [3,3] 到 [7,7] 之间的小核限制了感受野(最近才出现的大核卷积可以参考我们以前的文章),并且需要许多层来捕获输入张量的全局上下文(例如 2D 图像)。图像越大小核的的表现就越差。这就是为什么很难找到处理输入高分辨率图像的 CNN模型。有一种方法可以将核大小扩展到 [1024,1024] 及以上,并且这种方法可以增加给定输入分辨率的核大小并且对推理时间几乎没

deephub 4917

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

卷积神经网络的底层是傅里叶变换

卷积神经网络的底层是傅里叶变换,傅里叶变换的底层是希尔伯特空间坐标变换_哔哩哔哩_bilibili

qq_25467441的博客 439

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

卷积神经网络与傅里叶变换、希尔伯特空间坐标变换的关系

卷积神经网络与傅里叶变换、希尔伯特空间坐标变换的关系,更好地理解卷积神经网络,以及卷积神经网络到底卷了什么,为什么叫卷积?

u014439531的博客 1665

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

傅里叶变换与小波分析

从毕设中期答辩以后,本人开始着力于信号处理方面知识的学习,这里面的玄机确实说不清道不明,剪不断理还乱。 在学习过程中,发现很多值得去探索和分析的地方,而且好多前辈都很无私的分享了。 愚目的很简单:就是想把这阶段所学的知识整理整理思路,希望能得到大神指点。 这阶段学习的思路:(希望今后能把这些板块都 补齐) - 傅里叶变换和小波分析 - 小波分析的应用 - EMD算法 - 图像识别 -

chongpojiaoluo的博客 1万+

图神经网络(数学基础)- 傅里叶变换

傅里叶变换是一座桥梁,连接着“我们直观感受到的世界(时/空域)”与“事物构成的本质规律(频域)”。它让我们能够像分析光的成分一样分析信息,是现代工程与科学不可或缺的工具。

mfq2008的博客 609

傅里叶变换在图神经网络中的应用

需要注意的是,在实际应用中,由于计算效率等因素的限制,通常不会使用完整的傅里叶变换和傅里叶逆变换,而是采用基于Chebyshev多项式或Krylov子空间的快速傅里叶变换等方法来进行频域卷积运算,以提高计算效率。是在频域中的卷积核,通常是一组可学习的参数。对于基于拉普拉斯矩阵的谱分解的GNN,如GCN,可以利用傅里叶变换将拉普拉斯矩阵的特征向量表示为频域信号,然后通过频域卷积操作对节点特征进行卷积。在频域中,卷积操作可以表示为简单的点乘操作,因此可以将节点特征在频域中进行卷积操作,得到新的频域特征表示。

Yulki的博客 1113

【图机器学习】图神经网络入门(二)图上的傅里叶变换

内容为自己的学习总结,其中多有借鉴他人的地方,最后一并给出链接。在之前的文章中已经简单介绍了谱图理论【图机器学习】图神经网络入门(一)谱图理论,在本小节主要介绍如何从传统的傅里叶变换到图上的傅里叶变换。其中个人理解有错的地方希望,大家多多指正。这里在此重申一下为什么学习图傅里叶变换,对于图来说,直接进行卷积是困难的,因为图不具备图像那样规则的网格结构,因此考虑应用图傅里叶变换将网络的空域信息映射到频域来应用卷积定理完成卷积操作。

sxl的博客 2098
上一篇: 华为正式发布鸿蒙 2.0,更新人数太多挤爆服务器,P50 也官宣了!
下一篇: 12种主要的Dropout方法:如何应用于DNNs,CNNs,RNNs中的数学和可视化解释
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值