全连接神经网络的前向和反向传播推导

最新推荐文章于 2025-04-18 17:23:45 发布
最新推荐文章于 2025-04-18 17:23:45 发布
阅读量2.6k 收藏 4
点赞数 1
分类专栏： 深度学习 文章标签： 神经网络 前向传播 反向传播

转载自：http://blog.youkuaiyun.com/raintungli/article/details/76583070

1. 神经网络

这是一个常见的神经网络的图：

这是一个常见的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层，Layer L3是隐含层，当我们输入x1,x2,x3等数据时，通过隐含层的计算、转换，输出你的期望，当你的输入和输出是一样的时候，成为自编码模型（Auto-Encoder）,而当你输入和输出是不一致的时候，也就是我们常说的人工神经网络。

2.  如何计算传播

首先我们先构建一个简单的网络层作为例子：

在这个网络层中有
  • 第一层输入层：里面包含神经元i1,i2，截距：b1，权重：w1,w2,w3,w4
  • 第二层是隐含层：里面包含h1,h2，截距：b2，权重：w5,w6,w7,w8
  • 第三层是输出层：里面包含o1,o2
我们使用sigmoid作为激活函数

假定我们输入数据 i1: 0.02 i2: 0.04 截距 b1:0.4 b2:0.7 期望的输出数据 o1:0.5  o2:0.9
未知的是权重w1,w2,w3,w4,w5,w6,w7,w8
我们的目的 是为了能的到o1:0.5 o2:0.9的期望的值，计算出w1,w2,w3....w8的权重值

先假如构造一个权重w1,w2,w3.....w8的值，通过计算获取到最佳的w1,w2,w3....w8的权重

权重的初使值：
[html]  view plain  copy
  1. w1=0.25  
  2. w2=0.25  
  3. w3=0.15  
  4. w4=0.20  
  5. w5=0.30  
  6. w6=0.35  
  7. w7=0.40  
  8. w8=0.35  

2.1 前向传播

2.1.1 输入层到隐含层

NET(h1)=w1*i1+w2*i2+b1=0.25*0.02+0.25*0.04+0.4=0.005+0.01+0.4=0.415

神经元h1到输出h1的激活函数是sigmoid

OUT(h1)=1/(1+e^(-NET(h1)))=1/(1+0.660340281)=0.602286177

同理我们也可以获取OUT(h2)的值
NET(h2)=w3*i1+w4*i2+b1=0.15*0.02+0.20*0.04+0.4=0.003+0.008+0.4=0.411
OUT(h2)=1/(1+e^(-NET(h2)))=1/(1+0.662986932)=0.601327636

2.1.2 从隐含层到输出层

计算输出层的神经元o1, o2的值，计算方法和输出层到隐含层类似
NET(o1)=w5*h1+w6*h2+b2=0.3*0.602286177+0.35*0.601327636+0.7=0.180685853+0.210464672+0.7=1.091150525
OUT(o1)=1/(1+e^(-NET(o1)))=1/(1+0.335829891)=0.748598311

同理
NET(o2)=w7*h1+w8*h2+b2=0.4*0.602286177+0.35*0.601327636+0.7=0.240914471+0.210464672+0.7=1.151379143
OUT(o2)=1/(1+e^(-NET(o2)))=1/1.316200383=0.759762733

o1:0.748598311   o2:0.759762733 距离我们期望的 o1:0.5  o2:0.9还是有很大的距离


2.2 计算总误差

公式：

也就是我们需要计算每个期望误差的和
E(total)= E(o0)+E(o1)=(1/2)*(0.748598311-0.5)^2+(1/2)*(0.759762733-0.9)^2=0.01545028+0.009833246=0.025283526

2.3 反向传播

每一个权重对误差的影响，我们可以通过下图更直观的看清楚误差的反向传播

2.3.1 隐含层到输出层的权值更新

隐含层到输出层的权值，在上面的例子里是W5,W6,W7,W8

我们以W6参数为例子，计算W6对整体误差的影响有多大，可以使用整体误差对W6参数求偏导：


很明显并没有W6对Etotal的计算公式，我们只有W6对Net(o1)的计算公式
但根据偏导数的链式法则，我们可以将我们存在的推导公式进行链式乘法

我们来计算每一个公式的偏导：
  • 计算：


这是一个复合函数的导数

设f和g为两个关于x可导函数，则复合函数(f\circ g)(x)的导数(f\circ g)'(x)为：

(f\circ g)'(x)=f'(g(x))g'(x).

这里g(x)=target(o1)-out(o1)  g'(x)=-1

=-(0.5-0.748598311)=0.248598311

  • 计算
已知

我们来推导一下 ：
还是复合函数的推导


最后推导的结果：
=0.748598311*(1-0.748598311)=0.251401689*0.748598311=0.18819888

  • 计算

也就是 net(o1)'=out(h2)=0.601327636

最后我们的公式
= *out(h2)


= 0.248598311*0.18819888*0.601327636=0.028133669

2.3.1.1 跟新W6的权重
W6=W6-x*
其中 x 就是我们常说的学习速率，设置x学习速率为0.1 那么新的w6的权重就是

0.35-0.1* 0.028133669=0.347186633

相同的道理，我们也可以计算新的W5,W6,W7,W8的权重

可是如何计算和跟新W1,W2,W3,W4的权重呢？

2.3.2 隐含层的权值跟新

大概的算法还是和前面类似，如下图所展示：



计算公式：

2.3.2.1 计算
对Out(h1)来说Etotal并不依赖于Out(h1)计算，需要将Total分拆成两个Eo1和Eo2来计算
公式如下：

接着推导公式：
  • 计算
  • 同理也可以计算

2.3.2.2 计算


2.3.2.3 计算




最后三者相乘：

2.3.2.4 整体公式
根据前面的公式，我们可以推导出最后的公式




2.3.2.4 跟新W1的权重
和计算W6的权重一样：

设置学习速率，计算的到w1的权重值


3. 计算获取最佳的权重

我们将获取的新的权重不停的迭代，迭代一定的次数后直到接近期望值 o1:0.5 o2:0.9后，所的到权重w1...w8，就是所需要的权重。

反向传播算法推导-全连接神经网络
SIGAI_优快云的博客
07-07 9287
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 反向传播算法是人工神经网络训练时采用的一种通用方法，在现代深度学习中得到了大规模的应用。全连接神经网络（多层感知器模型，MLP），卷积神经网络（CNN），循环神经网络（RNN）中都有它的实现版本。算法从多元复合函数求...
深度学习：神经网络中的前向传播和反向传播算法推导
热门推荐
沧海一粟
08-08 4万+
1. 神经网络这是一个常见的神经网络的图：这是一个常见的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层
由浅到深的神经网络正向传播与反向传播公式推导（吴恩达老师深度学习第一课课程笔记）
weixin_44204324的博客
07-24 1792
一、前言（相关知识总结） 反向传播的本质是链式法则。 代价函数：为了训练逻辑回归模型的参数w参数和参数b我们需要一个代价函数J(w,b)，通过训练代价函数来得到参数w和参数b。 反向传播也是求梯度的过程，其中梯度下降法可以在你的测试集上，通过最小化代价函数（成本函数）J(w,b)来训练参数w和b。（梯度下降法后面补充） 因为正向传播公式无需过多推导，所以在这只显示公式结果，不多赘述。 二、Logistic回归模型的正向传播与反向传播 上图为Logistic回归模型，逻辑回归学习算法适用于二分类问题，可
深度学习-全连接神经网络
最新发布
ZHINV_的博客
04-18 1015
输入层：确定输入数据的维度。例如，对于一个简单的图像分类任务，输入层的维度可能是图像的像素数量。隐藏层：定义一个或多个隐藏层，每个隐藏层包含一定数量的神经元。隐藏层的数量和每个隐藏层的神经元数量可以根据任务需求调整。输出层：根据任务目标确定输出层的神经元数量。例如，对于一个二分类问题，输出层通常有一个神经元；对于多分类问题，输出层的神经元数量等于类别数。
神经网络的前向传播和反向传播推导
weixin_44766179的博客
03-24 3880
神经网络的前向传播和反向传播推导 x1x_{1}x1​和x2x_{2}x2​表示输入 wijw_{ij}wij​表示权重 bijb_{ij}bij​表示偏置 σi\sigma_{i}σi​表示激活函数，这里使用sigmoid激活函数 outoutout表示输出 yyy表示真实值 η\etaη表示学习率 前向传播 h1=w11x1+w13x2+b11h_{1}=w_{11}x_{1}+w_{13}...
深度神经网络(DNN)正向传播与反向传播推导（通俗易懂）
JJJasmine的H君的博客
08-18 3244
一、前言 我在之前的博客里面介绍过浅层的神经网络，现在就从浅层神经网络出发，介绍深度神经网络（DNN）的正向传播和反向传播。希望网友们看本博客之前需要对神经网络有个简单的了解，或者可以看博客初探神经网络（深度学习入门）进行了解学习。 本文将结合吴恩达的视频、作业及其个人的理解进行写作，如有不对的地方，还望指正。 二、DNN的模型 神经网络有一个输入层、多个隐含层和一个输出层组成。每个隐含层都执行了线性操作和激活函数操作。 三、DNN的前向传播 ...
神经网络的正向和反向传播
熊伟
06-21 1658
首先需要了解一下链式法则： y=g(x)z=h(y)Δx→Δy→Δz\begin{array}{c}{y=g(x) \quad z=h(y)} \\ {\quad \Delta x \rightarrow \Delta y \rightarrow \Delta z}\end{array}y=g(x)z=h(y)Δx→Δy→Δz​如果我们要求Z对X的导数，很明显是：dzdx=dzdydydx\f...
反向传播算法推导—全连接神经网络
07-07
全连接神经网络(多层感知器模型，MLP)，卷积神经网络(CNN)，循环神 经网络(RNN)中都有它的实现版本。算法从多元复合函数求导的链式法则导出，递推的 计算神经网络每一层参数的梯度值。算法名称中的“误差”是指损失...
卷积神经网络反向传播理论推导
02-25
本文来自于csdn，本文首先简单介绍CNN...这个就与全连接神经网络不同了。2、由于在前向传播的时候，池化层会对前一层卷积层进行放缩，那么从池化层到卷积层BP的时候，小尺度的池化层怎么把误差反传到大尺度的卷积层（这
使用numpy从头开始实现神经网络,包括反向传播公式推导过程; numpy构建全连接层、卷积层、池化层、Flatten层
10-13
numpy从头开始实现神经网络,包括反向传播公式推导过程; numpy构建全连接层、卷积层、池化层、Flatten层；以及图像分类案例及精调网络案例等。 1、网络中梯度反向传播公式推导 2、层：FC层,卷积层,池化层,Flatten 3、...
图解深度学习 - 前向传播和反向传播
m0_56255097的博客
01-15 2505
这个过程是神经网络进行训练和推理的基础，也是后续反向传播过程的前提。根据损失函数计算梯度并更新网络参数以优化模型性能的过程，**网络中的权重和偏置进行线性变换，然后通过，得到每一层的输出。最终，输出层的输出即为神经网络的预测值。输入层接收数据：输入层是神经网络的第一层，它接收来自外部的数据。计算隐藏层输出：数据从输入层传递到隐藏层，隐藏层中的每个神经元都会接收来自上一层神经元的输入，并计算其加权和。加权和通过激活函数（如ReLU、Sigmoid、Tanh等）进行非线性变换，生成该神经元的输出。
深度学习基础------前向传播与反向传播
你好，明天，，的博客
09-29 1万+
当前，深度学习已经应用到很多领域：无人驾驶汽车，黑科技以及图像分类等等，这些前沿的科技也面临许多挑战，如无人驾驶汽车需要进行物体的检测、行人的检测、标志的识别以及速度识别等等；图像分类已经成为一项重要技术，它是计算机视觉的核心任务，其困难之处在于图像中物体形状的改变、部分遮蔽以及背景的混入等等。让机器学习人类模拟人类大脑的思考过程，需要进行大量的实验研究才能正式投入运行，即将大量的数据分为训练集、验证集以及测试集。 深度学习的过程可以分为前向传播和反向传播两个过程，前向传播。 简单来说，前向传播过程就是
机器学习之前向传播（Forward Propagation）和反向传播（Back propagation）
qq_42244167的博客
08-24 3254
在前向传播中，数据从输入层经过各个中间层（隐层）的神经元，经过加权和激活函数的计算，传递到输出层，最终得到模型的预测输出。：反向传播通过链式法则计算梯度，从输出层开始，将损失函数对每个参数的梯度向后传递到每一层，以确定每个参数的梯度。：反向传播是指在前向传播之后，通过计算损失函数对模型参数的梯度，从输出层反向传递梯度信息，以便更新模型参数。：前向传播是指从神经网络的输入层到输出层的过程，通过输入数据和当前的模型参数，计算网络的输出。
【机器学习笔记】神经网络反向传播算法 推导
Liaojiajia-Blog
08-11 1275
神经网络反向传播算法 推导（一） 概念及基本思想（二）信息的前向传播（三）误差反向传播（1）输出层的权重参数更新（2）隐藏层的权重参数更新（3）输出层与隐藏层的偏置参数更新（4）反向传播算法的4个核心公式（5）BP算法计算：某个训练数据的代价函数对参数的偏导数（6）总结：用“梯度下降”算法更新参数 （一） 概念及基本思想 误差反向传播算法简称反向传播算法（即BP算法）。使用反向传播算法的多层感知器...
反向传播和前向传播什么意思
weixin_50153914的博客
02-29 932
在神经网络训练的上下文中，和是两个基本且关键的概念。
神经网络权重初始化问题思考
qzq2514的博客
02-26 1913
众所周知，神经网络权重不能初始化为常数，更不能全部初始化为0。依据反向传播的思想可知：**每个权重的更新梯度与其之后相关的权重、神经元的输入、输出和其前一个神经元的输出有关(这里不进行具体推导)。**网上很多相关文章说不能初始化为0或者常数，这个结论肯定是正确的。但是原因却不是这样会导致权重不更新了。其实完全错误，只要有误差，就会更新。 现假设神经网络的通用形式形式如下： 有一个输入层，n个隐藏层...
前向传播的简单介绍，并给出代码实例
百年孤独百年的博客
04-18 1981
前向传播是神经网络中的一种基本操作，其作用是将输入数据通过网络中的权重和偏置计算，最终得到输出结果。本文将介绍前向传播的基本概念和步骤，帮助读者理解神经网络的工作原理。定义模型即定义神经网络的体系结构，包括层数，每层中的神经元数量和激活函数等。
深度学习——前向传播与后向传播
ArtoriaLili的博客
11-28 1576
对动手学深度学习这本书的一些概念理解。
前向传播(Forward Propagation)与反向传播(Back Propagation)举例
qq_43602667的博客
02-19 3774
前向传播(Forward Propagation)与反向传播(Back Propagation)
推导全连接神经网络和卷积神经网络的反向传播过程
02-22
### 全连接神经网络中的反向传播公式推导 在全连接神经网络中，每一层的输入与输出之间存在线性关系，并通过激活函数引入非线性。对于一层来说，其正向传播可以表示为： \[ z^{(l)} = W^{(l)}a^{(l-1)} + b^{(l)} \] \[ a^{(l)} = g(z^{(l)}) \] 其中 \(W^{(l)}\) 是权重矩阵，\(b^{(l)}\) 是偏置项，\(g(\cdot)\) 表示激活函数。 为了计算梯度以便更新参数，在反向传播过程中需要计算损失函数关于各层权重和偏置的偏导数。设当前正在处理第 \( l \) 层，则有如下表达式用于描述这些偏导数[^1]： \[ \delta^{(l)} = (\Theta^{(l)})^T\delta^{(l+1)} .* g'(z^{(l)}) \] \[ \frac{\partial}{\partial W_{ij}^{(l)}} J(W,b;x,y)=a_j^{(l)}\delta_i^{(l+1)} \] \[ \frac{\partial}{\partial b_i^{(l)}}J(W,b;x,y)=\delta_i^{(l+1)} \] 这里 \(\delta^{(l)}\) 称作误差项(error term)，代表该层相对于最终输出产生的错误；\(.*\) 表明逐元素乘法操作；\(g'\) 则是指激活函数的一阶导数。 ### 卷积神经网络(CNN)中的Backpropagation Derivation 卷积神经网络结构更加复杂一些，除了普通的全连接层外还包括卷积层、池化层等特殊组件。下面主要讨论卷积层内的反向传播过程。 假设有一个二维图像作为输入经过一次标准卷积运算得到特征图(output feature map), 正向传播可写作: \[ O(i,j,k) = f(I * K(:,:,k)) + B(k) \] 这里的 \(O, I, K,\text{ 和 }B\) 分别对应于输出特征映射(Output Feature Map)、输入数据(Input Data)、滤波器(Filter/Kernels)以及偏差(Bias Term); 符号"\(*\)"表示卷积操作; 函数"f()"通常是一个ReLU这样的非线性变换. 当执行反向传播时，目标是要找到三个部分对应的梯度：即对输入I、核K还有bias B 的梯度。具体而言， 针对输入的数据 \(I\) 来说， \[ dI = dO * rot180(K) \] 而对于滤波器 \(K\) 而言, \[ dK = I * dO \] 最后是对于 bias \(B\), \[ dB=\sum_dO \] 上述各式中，“rot180()”指的是旋转180度的操作，这一步骤是为了匹配卷积操作的特点使得能够正确地传递梯度信息回前一层节点[^2]。 另外值得注意的是，在实际应用当中可能会涉及到填充(padding)和平铺(stride)等因素的影响，所以在实现具体的算法时还需要考虑这些问题带来的变化[^4]。 ```python import numpy as np def conv_backward(dZ, cache): """ Implement the backward propagation for a convolution function Arguments: dZ -- gradient of the cost with respect to output of the conv layer (Z), numpy array of shape (m, n_H, n_W, n_C) cache -- cache of values needed for the conv_backward(), output of conv_forward() Returns: dA_prev -- gradient of cost with respect to input of the conv layer (A_prev), numpy array of shape (m, n_H_prev, n_W_prev, n_C_prev) dW -- gradient of cost with respect to weights W, numpy array of shape (f, f, n_C_prev, n_C) db -- gradient of cost with respect to biases b, numpy array of shape (1, 1, 1, n_C) """ # Retrieve information from "cache" (A_prev, W, b, hparameters) = cache # Retrieve dimensions from A_prev's shape and W's shape (m, n_H_prev, n_W_prev, n_C_prev) = A_prev.shape (f, f, n_C_prev, n_C) = W.shape # Initialize gradients dA_prev = np.zeros((m, n_H_prev, n_W_prev, n_C_prev)) dW = np.zeros((f, f, n_C_prev, n_C)) db = np.sum(dZ, axis=(0, 1, 2)) db = db.reshape((1, 1, 1, n_C)) # Compute dA_prev, dW using formulas above. for i in range(m): # loop over the training examples a_slice_prev = A_prev[i,:,:,:] for h in range(n_H_prev): # loop through vertical axis of previous activation matrix for w in range(n_W_prev): # loop through horizontal axis of previous activation matrix for c in range(n_C): # loop over channels (=number of filters) of current layer vert_start = h vert_end = vert_start + f horiz_start = w horiz_end = horiz_start + f a_slice = a_slice_prev[vert_start:vert_end, horiz_start:horiz_end, :] da_prev_pad = sum(sum(np.dot(dZ[i,h,w,c], W[:,:, :,c]))) dW[:,:,:,c] += a_slice * dZ[i,h,w,c] dA_prev[i, vert_start:vert_end, horiz_start:horiz_end, :] += W[:, :, :, c]*dZ[i,h,w,c] return dA_prev, dW, db ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值