神经网络推导

深度学习学习笔记 3前馈神经网络 神经网络是最早作为一种连接主义为主的模型。 3.1神经元模型 3.1.1神经元(M-P) 在M-P模型中,神经元接受其他n个神经元的输入信号(0或1),这些输入信号经过权重加权并求和,将求和结果与阈值(threshold)θ比较,然后经过激活函数处理,得到神经元的输出。 图3-1典型的神经元结构 3.1.2网络结构 人工神经网络由神经元模型构成,这种由许多神经元组成的信息处理网络具有并行分布结构。 图3-2几种神经网络网络结构 3.2感知器 3.2.1单... 阅读详情

BP神经网络算法(单变量版本)

网络结构定义

输入变量XmXm,其中m=1,2,3,...,Ninputm=1,2,3,...,Ninput
要预测的变量tmtm,其中m=1,2,3,...,Ninputm=1,2,3,...,Ninput
设置三层网络结构,前两层为隐藏层,最后一层为输出层
第一层共有I个神经元,第二层共有J个神经元,第三层共有K个神经元。

前向传播

第一层

WimWim,表示 第一层神经网络第ii个神经元和第m个输入变量之前的权重。
bibi,表示 第一层神经网络第ii个神经元的偏置。
neti(1)=∑m=1NinputWimXm+bi,其中net(1)ineti(1)表示第一层神经网络中第ii个神经元的输出。
第一层的激活函数设为f(1),则经过激活函数激活后第ii个神经元的输出为

yi(1)=f(1)(neti(1))

第二层

WjiWji,表示 第二层神经网络第jj个神经元和第i个第一层神经网络的神经元输出之间的权重。
bjbj,表示 第二层神经网络第jj个神经元的偏置。
netj(2)=∑i=1IWjiyi(1)+bj,其中net(2)jnetj(2)表示第二层神经网络中第jj个神经元的输出。
第二层的激活函数设为f(2),则经过激活函数激活后第jj个神经元的输出为

yj(2)=f(2)(netj(2))

第三层(输出层)

WkjWkj,表示 第三层神经网络第kk个神经元和第j个第二层神经网络的神经元输出之间的权重。
bkbk,表示 第三层神经网络第kk个神经元的偏置。
netk(3)=∑j=1JWkjyj(2)+bk,其中net(3)knetk(3)表示第三层神经网络中第kk个神经元的输出。
第三层的激活函数设为f(3),则经过激活函数激活后第kk个神经元的输出为

yk(3)=f(3)(netk(3))

经过前向传播已经可以用来输出结果了。
但是怎么来训练这个神经网络呢?这里就要用到神经网络的反向传播!!

反向传播(Back-Propagation)-求导

要使用反向传播首先需要定义损失函数(loss function)。现在针对不同的领域损失函数的定义有非常多,这里用到最简单的均方差(Mean squared error-MSE)来训练分类任务的神经网络
均方差的定义

1l∑l=1nt(y(3)k−tk)21l∑l=1nt(yk(3)−tk)2

nt表示分类任务最后类别的数目。如果是抛硬币那么nt=2(正面和反面)。
PS:如果是分类问题,需要将这里的t_m进行one-hot编码。并且输出层神经元的个数与nt的大小相同。

输出层推导

根据链式法则(chain-rule),求权重的导数

∂loss∂Wkj=∂loss∂net(3)k⋅∂net(3)k∂Wkj=∂loss∂net(3)k⋅y(2)j∂loss∂Wkj=∂loss∂netk(3)⋅∂netk(3)∂Wkj=∂loss∂netk(3)⋅yj(2)

∂loss∂net(3)k=∂∂net(3)k(1l∑lnt(y(3)k−tk)2)=1l∂∂net(3)k(∑lnt(f(3)(net(3)k)−tk)2)∂loss∂netk(3)=∂∂netk(3)(1l∑lnt(yk(3)−tk)2)=1l∂∂netk(3)(∑lnt(f(3)(netk(3))−tk)2)

=1l∂∂net(3)k((f(3)(net(3)k)−tk)2)=2l(f(3)(net(3)k)−tk)⋅(f(3)′(net(3)k)⋅1)=1l∂∂netk(3)((f(3)(netk(3))−tk)2)=2l(f(3)(netk(3))−tk)⋅(f(3)′(netk(3))⋅1)

其中设∂loss∂net(3)k=δ(3)=2l(f(3)(net(3)k)−tk)⋅(f(3)′(net(3)k)⋅1)∂loss∂netk(3)=δ(3)=2l(f(3)(netk(3))−tk)⋅(f(3)′(netk(3))⋅1)
则

→∂loss∂Wkj=δ(3)⋅y(2)j→∂loss∂Wkj=δ(3)⋅yj(2)

同理可得

∂loss∂bk=∂loss∂net(3)k⋅∂net(3)k∂bk=∂loss∂net(3)k=δ(3)∂loss∂bk=∂loss∂netk(3)⋅∂netk(3)∂bk=∂loss∂netk(3)=δ(3)

这里就求得了最后一层相关权重和偏置的导数了。

第二层隐藏层推导

与输出层的求导非常相似,也是使用链式法则(chain-rule),求第二层隐藏层权重的导数

∂loss∂Wji=∂loss∂net(2)j⋅∂net(2)j∂Wji=∂loss∂net(2)j⋅y(1)i∂loss∂Wji=∂loss∂netj(2)⋅∂netj(2)∂Wji=∂loss∂netj(2)⋅yi(1)

∂loss∂net(2)j=∂∂net(2)j(1l∑lnt(y(3)k−tk)2)=1l∂∂net(2)j(∑lnt(f(3)(net(3)k)−tk)2)∂loss∂netj(2)=∂∂netj(2)(1l∑lnt(yk(3)−tk)2)=1l∂∂netj(2)(∑lnt(f(3)(netk(3))−tk)2)

=1l∂∂net(2)j((f(3)(net(3)k)−tk)2)=1l∂∂net(2)j(f(3)(∑j=1JWkjy(2)j+bk)−tk)2=1l∂∂netj(2)((f(3)(netk(3))−tk)2)=1l∂∂netj(2)(f(3)(∑j=1JWkjyj(2)+bk)−tk)2

=1l∂∂net(2)j(f(3)(∑j=1JWkjf(2)(net(2)j)+bk)−tk)2=1l∂∂netj(2)(f(3)(∑j=1JWkjf(2)(netj(2))+bk)−tk)2

=2l⋅f(3)(∑j=1JWkjf(2)(net(2)j)+bk)−tk)⋅f(3)′(∑j=1JWkjf(2)(net(2)j)+bk)⋅∑j=1JWkjf(2)′(net(2)j)⋅1=2l⋅f(3)(∑j=1JWkjf(2)(netj(2))+bk)−tk)⋅f(3)′(∑j=1JWkjf(2)(netj(2))+bk)⋅∑j=1JWkjf(2)′(netj(2))⋅1

=δ(3)k⋅∑j=1JWkjf(2)′(net(2)j)=∑j=1J(Wkj⋅δ(3)k)⋅f(2)′(net(2)j)=δk(3)⋅∑j=1JWkjf(2)′(netj(2))=∑j=1J(Wkj⋅δk(3))⋅f(2)′(netj(2))

!!!注意δ(3)k⋅∑Jj=1Wkjf(2)′(net(2)j)δk(3)⋅∑j=1JWkjf(2)′(netj(2))这个式子 (************还需要配图说明)
其中设∂loss∂net(2)j=δ(2)=∑Jj=1(Wkj⋅δ(3)k)⋅f(2)′(net(2)j)∂loss∂netj(2)=δ(2)=∑j=1J(Wkj⋅δk(3))⋅f(2)′(netj(2))
则

→∂loss∂Wji=δ(2)⋅y(1)i→∂loss∂Wji=δ(2)⋅yi(1)

同理可得

∂loss∂bj=∂loss∂net(2)j⋅∂net(2)j∂bj=∂loss∂net(2)j=δ(2)∂loss∂bj=∂loss∂netj(2)⋅∂netj(2)∂bj=∂loss∂netj(2)=δ(2)
第一层隐藏层推导

与第二层隐藏层推导一样,也是使用链式法则(chain-rule),求第一层隐藏层权重的导数

∂loss∂Wim=∂loss∂net(1)i⋅∂net(1)i∂Wim=∂loss∂net(1)i⋅Xm∂loss∂Wim=∂loss∂neti(1)⋅∂neti(1)∂Wim=∂loss∂neti(1)⋅Xm

其中设∂loss∂net(1)i=δ(1)=∑Ii=1(Wji⋅δ(2)j)⋅f(1)′(net(1)i)∂loss∂neti(1)=δ(1)=∑i=1I(Wji⋅δj(2))⋅f(1)′(neti(1))
则

→∂loss∂Wim=δ(1)⋅Xm→∂loss∂Wim=δ(1)⋅Xm

同理可得

∂loss∂bi=∂loss∂net(1)i⋅∂net(1)i∂bi=∂loss∂net(1)i=δ(1)∂loss∂bi=∂loss∂neti(1)⋅∂neti(1)∂bi=∂loss∂neti(1)=δ(1)

神经网络中所有需要求解的导数都已经完成。接下来只要进行反向传播更新便可以训练该神经网络了。

反向传播算法公式推导,神经网络的推导 反向传播算法适合于多层神经元网络的一种学习算法,它建立在梯度下降法的基础上。反向传播算法网络的输入输出关系实质上是一种映射关系:一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射,这一映射具有高度非线性。反向传播算法主要由两个环节(激励传播、权重更新)反复循环迭代,直到网络的对输入的响应达到预定的目标范围为止。反向传播算法的信息处理能力来源于简单非线性函数的多次复合,因此具有很强的函数复现能力。这是BP算法得以应用的基础。... 阅读详情

相关推荐

CNN卷积神经网络反向传播推导总结及推导细节

CNN卷积神经网络在当下图像分类领域是很常用的一种神经网络,它的权值共享特性使得它在图像处理中训练的参数要比普通的神经网络训练参数少的多。这几天自己用java实现了一下CNN的正向计算与误差反向传播,正向计算很好理解,也比较容易实现,但反向传播由于与普通的神经网络不同,实现会稍微复杂一些,看了很多博主的文章,感觉对卷积层的误差后向传递及卷积层自身weight和bias的计算有些细节没有说清楚,这里...

仲谋也的博客 6681

【SpingBoot】SpringBoot实现卷积神经模型代码

这只是一个简单的卷积神经网络模型实现示例,实际上要构建一个准确的CNN模型需要更多的调整和优化。此外,还需要处理各种安全问题,例如防止对模型进行攻击、保证模型的隐私性等。因此,建议在实际应用中使用成熟的深度学习框架,而不是从头开始编写自己的模型代码。5.Spring Boot应用程序。

Jacker 420

BP神经网络的数学公式推导

BP神经网络的数学公式推导学习神经网络挺长一段时间了,最近才弄明白这其中的推导过程; 推导过程参考cousera上Andrew Ng的机器学习课程;我尽量细致通俗的解释推导过程: 假设我们有上图的这样一个神经网络;输入层为L=0,输出层L=2;隐层L=1; 参数则有两层Theta1和Theta2; 以下的公式均采用向量化的方式表达省略了求和符号; 另外,我写公式的习惯比较贴近写代码

qq_36855981的博客 3080

Springboot+Pytorch+React实现基于神经网络的图像识别系统

由于最近团队项目需要,前段时间我一直在研究卷积神经网络,终于在网络结构上有所突破,终于知道怎么改进一些神经网络了。我的毕设题目就是无人机的识别,用无人机的射频特征转换为图片。然后根据图片来进行识别。导师说光做理论可能工作量不够,让我给自己的算法套个软件的壳子。我心想也不是什么难事,就答应了。所以就有了这篇博客的由来。这个系统是我毕设的最初带版本,很简单就实现了前端调用后端,后端调用Python的神经网络算法模块。因为这个是我的毕设,我还没毕业,所以具体的。

qq_42529846的博客 4709

计算机网络实验(华为eNSP模拟器)——第十章 Eth-Trunk(链路聚合)

目录一、Eth-Trunk的定义二、Eth-Trunk的工作模式(一)LACP模式1、定义2、命令(二)手工负载分担模式1、定义2、命令三、结语 一、Eth-Trunk的定义 Eth-Trunk是指设备的链路聚合,即将该设备的多个接口捆绑成一个接口,从而达到了增加带宽和提高可靠性的目的。我们要注意它是将多条物理链路,在逻辑上合并成一条,而不是串在一起。例我们将LSW1交换机S5700的三个端口(即GE0/0/1 、GE0/0/2、GE0/0/3)定义为一个Eth-Trunk接口与LSW2交换机相连,如下:

小宇y的博客 8420

射频工程师笔记---射频通信基础

回顾一下移动通信技术的发展,其实是互联网和通信技术的融合过程。在这个过程中,很多应用都在不断加入其中。比如计算机跟通信的融合产生了互联网、互联网跟手机的融合带来了移动互联网。手机可以看杂志、看视频、听音乐,于是又出现了内容服务产业;再后来,电视音箱等设备也能联网,于是网络跟家电又产生了融合。所以应用的出现总是在融合其他产业。在1995年,比尔·盖茨在《未来之路》一书中首次提出:在未来...

多年硬件从业经历,热爱学习,记录生活! 2万+

BP神经网络JAVA实现详解

介绍了BP神经网络的构成原理,通俗的解释了其实现机制。并通过JAVA编程语言实现了对曲线的拟合,最后总结了几点神经网络的注意事项。

Rgazer的博客 1万+

PCL 读取和保存点云

PCL (Point Cloud Library) 是一个用于处理 3D 点云数据的开源库。在处理点云数据时,常见的任务包括点云的读写和可视化。PCL 提供了强大的 IO 模块来读取和写入各种格式的点云文件,并且提供了可视化模块来对点云进行渲染和显示。点云的读写与显示是很多 3D 数据处理任务的基础步骤,通过这些步骤,可以对点云进行预处理、分析和操作。

纵马踏花向自由 1741

Spring Boot 学习

SpringBoot概念及原理解析

qq_42707797的博客 383

FPGA 学习笔记:Vivado 工程更改FPGA 型号

FPGA 学习笔记:Vivado 工程更改FPGA 型号

坚韧与专注 1万+

[Dify实战] 在 Dify 官网环境使用 File Translator 插件实现 Office 文档翻译(支持 DOCX/XLSX/PPTX)

摘要:Dify平台的FileTranslator插件可实现Office文档一键翻译,保留原格式和结构。该插件支持Word、Excel、PPT等文件格式,无需额外密钥,直接复用Dify配置的大模型。安装后,用户可在Workflow中调用插件,设置目标语言等参数完成翻译。输出文件自动命名,保留原格式。适用于跨国协作、海外营销等场景,显著提升多语言办公效率。该插件简化了文档翻译流程,是企业用户和开发者的实用工具。

技术小甜甜:传播可落地技术,帮助个人和企业降低解决真实场景问题的成本 544

BP神经网络原理推导

本文会完成BP神经网络的推导过程,先介绍BP神经网络的历史,然后介绍BP神经网络的结构,然后再开始推导,最后介绍BP神经网络的优缺点以及几个优化的方法。

qq_39545674的博客 1万+

使用IGV软件可视化染色质可及性

染色质可及性(chromatin accessibility)是指DNA序列在植物细胞核中的可访问程度。染色质是由DNA和蛋白质组成的复杂结构,它紧密地包裹在细胞核中,并影响基因的表达和功能。染色质可及性研究着重于理解染色质是否容易被转录因子和其他调控蛋白访问,从而影响基因的表达。文献中,常常会有下面这种图片来表示基因组上的一些区域或基因的染色质开放性强弱。一般情况下,我们可以使用IGV软件或GSA-man软件进行可视化,两者的操作相似。这里,以IGV软件为例,演示如何对染色质可及性进行可视化。

沉香best的博客 3725

BP神经网络的数学模型推导

本文深入探讨 BP 神经网络的数学模型推导过程。从神经元的基本模型出发,详细阐述了前向传播过程中信号的传递计算、激活函数的作用,以及误差反向传播过程中误差的计算、梯度的推导与权重更新的原理。通过逐步的数学推导与代码示例相结合,全面呈现 BP 神经网络如何依据数学原理进行学习与训练,为深入理解其工作机制提供了坚实的理论依据与实践参考。

梵心白莲的博客 1296

pdb文件删除杂原子 HETATM;保留或去除水分子

这样操作水分子也会跟着删除,如果需要保留水分子。

weixin_42357472的博客 2647

域适应分类:MCD论文笔记——Maximum Classifier Discrepancy for Unsupervised Domain Adaptation

域适应分类:MCD论文笔记——Maximum Classifier Discrepancy for Unsupervised Domain Adaptation

qq_50001789的博客 1007

神经网络的反向传播算法推导

有了上一篇神经网络的反向传播算法推导 — 前期知识准备 做铺垫,下一步来看看反向传播算法具体的推导过程。 一、定义 机器学习中常说的两个函数: 损失函数 (loss function):是定义在单个样本上的,算的是一个样本的值和预测值的误差,记为C(Θ); 代价函数 (cost function):是定义在整个训练集上的,是所有样本误差的平均,也就是损失函数的平均,记为J(Θ); 假设函数: 二、神经网络结构图 以三层神经网络为例: ...

milkhq的博客 5863

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

BP神经网络的梯度公式推导(三层结构)

老饼讲解-BP神经网络:BP神经网络的梯度公式推导(三层结构),BP神经网络的训练算法基本都涉及到梯度公式,本文提供三层BP神经网络的梯度公式和推导过程

dbat 8767

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

BP神经网络原理推导和实现

(Backpropagation Neural Network,误差反向传播神经网络)是一种经典的,广泛应用于分类、回归等任务。它的核心是通过动态调整网络参数(权重和偏置),使网络输出逐渐逼近真实值。

Yuansheng She's blog 1270

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

神经网络的反向传播公式的推导

神经网络的反向传播公式的推导 前言: 早该开始入坑CNN,RNN的博主总觉得要先能用python加numpy手撸一个神经网络,才能更好理解其他神经网络的原理(强迫症)。于是…这一拖就是快两月(懒),最近填坑的时候才发现以为自己很通透的反向传播过程,写起代码推起来就…。 光看西瓜书觉得反向传播就是损失函数反向对每一层参数求偏导的过程。但西瓜书推导仅在三层网络上,各层参数符号定义也不统一(博主太笨)。...

笔记 2047

神经网络与深度学习笔记:BP神经网络超详细推导

至此完成一次完整迭代,下一次笔记将会给出代码实践过程,请持续关注。

2301_76191576的博客 2625

神经网络的BP算法推导详解

一个神经网络程序包含以下几部分内容。   1.数据表达和特征提取。对于一个非深度学习神经网络,主要影响其模型准确度的因素就是数据表达和特征提取。同样的一组数据,在欧式空间和非欧空间,就会有着不同的分布。有时候换一种思考问题的思路就会使得问题变得简单。所以选择合适的数据表达可以极大的降低解决问题的难度。同样,在机器学习中,特征的提取也不是一种简单的事。在一些复杂问题上,要通过人工的方式设计有效的特...

知识搬运工的博客 4万+

神经网络的公式推导与代码实现

本文将细致阐述一个基础神经网络模型从输入到预测的全过程,包括其前向计算、误差回传以及参数调优等环节,并通过一个手写数字辨识的实例,分别运用纯Python编程和PyTorch框架来具体实践,旨在让读者深切体会到神经网络参数迭代优化的内在机制。这些内容植根于神经网络与机器学习的核心理论——前向传播与反向传播,它们是当今绝大多数深度学习模型训练不可或缺的基石。通过这一系列的讲解与实践,我们将一同揭开深度学习模型训练的神秘面纱,助力大家更深入地把握这一领域的精髓。

2301_77514963的博客 1851

神经网络——反向传播算法公式推导

神经网络反向传播三层结构公式推导,记录学习过程。

别来的博客 3566
上一篇: python数据分析代码优化小结
下一篇: 机器学习-聚类(K-Means)
我就想叫这个
博客等级 码龄11年 52粉丝 39原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值