神经网络反向传播的矩阵复合求导计算

最新推荐文章于 2024-05-01 08:31:16 发布
最新推荐文章于 2024-05-01 08:31:16 发布
阅读量1.2k 收藏 4
点赞数 1
分类专栏： 深度学习 文章标签： 神经网络 深度学习 矩阵
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41674736/article/details/109173012
版权

以前一直以为矩阵的复合求导和可微函数的链式求导是一样的，但是在推导神经网络梯度公式的时候往往会出现一些符号次序不对的问题，我这里借用吴恩达编程作业中给出的浅层神经网络的案例来计算反向传播的梯度。关于矩阵复合求导法则可以参考：矩阵的复合求导
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
对于更深层的网络来说同理，可以推出各层的梯度为：
在这里插入图片描述
Dropout求导：
在这里插入图片描述

人工神经网络—反向传播算法（二）
DIPDWC的博客
05-18 465
反向传播算法（二）1. 回顾2. 反向传播算法的一般情形2.1 反向传播算法的推导2.2 一般情形的后向传播算法流程3. 结尾 1. 回顾 在上一讲中，我们基于一个简单的神经网络，讲解了如何用后向传播算法更新神经网络的参数，完成神经网络的训练。这一讲我们将后向传播算法推广到一般的神经网络中，即我们不限制神经网络的层数以及每一层的神经元的个数来推导后向传播算法。 2. 反向传播算法的一般情形 如下图1所示，假设神经网络有lll层，我们不限制每一层神经元的个数，那么神经元的图可以用更简单的矩阵来表示。 图1
神经网络中的矩阵求导及反向传播推导
DawnRanger的专栏
11-22 6441
第一部分: 一个简单的两层神经网络的反向传播下面的代码是来自 pytorch tutorial 的一个 numpy 版本的(激活函数为relu的)两层全连接神经网络的实现, 包括网络的实现、梯度的反向传播计算和权重更新过程：# -*- coding: utf-8 -*- import numpy as np# N is batch size; D_in is input dimension; # H
神经网络与深度学习系列 -反向传播算法
MrSong007的博客
10-29 685
矩阵的在神经网络中的应用 利用矩阵在神经网络中，可以大大简化公式的复杂性，同时矩阵运算在反向传播中使用起来极为方便。 上图给出了神经网络中对权重的标注方式，wjklw_{jk}^lwjkl​表示从 (l−i)th{(l-i)}^{th}(l−i)th 层的第 kthk^{th}kth 个神经元到lth{l}^{th}lth 层的第 jthj^{th}jth 个神经元的连接上的权重。 上图给出了...
神经网络及反向传播(bp)算法详解
momaojia的博客
07-30 1万+
神经元和感知器的本质一样神经元和感知器本质上是一样的，只不过感知器的时候，它的激活函数是阶跃函数；而当我们说神经元时，激活函数往往选择为sigmoid函数或tanh函数。如下图所示：    输入节点     每一个输入节点对应一个权值，输入节点可以是任意数。 权重   W1，W2...Wn 偏置项   b 激活函数       激活函数在神经网络中尤为重要，通过激活函数加入非线性
『科学计算_理论』矩阵求导
weixin_34309543的博客
07-21 652
上篇原文链接 下篇原文链接 标量对矩阵求导 矩阵求导的技术，在统计学、控制论、机器学习等领域有广泛的应用。鉴于我看过的一些资料或言之不详、或繁乱无绪，本文来做个科普，分作两篇，上篇讲标量对矩阵的求导术，下篇讲矩阵对矩阵的求导术。本文使用小写字母x表示标量，粗体小写字母表示向量，大写字母X表示矩阵。 首先来琢磨一下定义，标量f对矩阵X的导数，定义为，即f对X逐元素求导排成与X尺寸相同的矩阵。...
关于 RNN 循环神经网络的反向传播求导
u011714517的博客
08-15 786
关于 RNN 循环神经网络的反向传播求导 本文是对 RNN 循环神经网络中的每一个神经元进行反向传播求导的数学推导过程，下面还使用 PyTorch 对导数公式进行编程求证。 RNN 神经网络架构 一个普通的 RNN 神经网络如下图所示： 其中 x⟨t⟩x^{\langle t \rangle}x⟨t⟩ 表示某一个输入数据在 ttt 时刻的输入；a⟨t⟩a^{\langle t \rangle}a⟨t⟩ 表示神经网络在 ttt 时刻时的hidden state，也就是要传送到 t+1t+1t+1 时刻的值；
神经网络反向传播算法
小森的博客
05-01 2094
如图我们在最下边输入两个维度的值进入神经网络：0.05、0.1 ，经过两个隐藏层(每层两个神经元)，每个神经元有两个值，左边为输入值，右边是经过激活函数后的输出值；这种算法基于梯度下降法来优化误差函数，利用了神经网络的层次结构来有效地计算梯度，从而更新网络中的权重和偏置。设置的初始权重w1，w2，...w8分别为0.15、0.20、0.25、0.30、0.30、0.35、0.55、0.60。其他的网络参数更新过程和上面的求导过程是一样的，这里就不过多赘述，我们直接看一下代码。类的实例时，它会首先调用。
神经网络反向传播的作用,人工神经网络反向传播
aifamao3的博客
10-17 352
W代表所有层的特征权值，Wij(l)代表第l层的第i个元素与第j个特征的特征权值m代表样本个数，k代表输出单元个数hw(x(i))k代表第i个样本在输出层的第k个样本的输出 y(i)k代表第i个样本的第k个输出然后同于logistic回归，将所有的W更新即可。表示第层的第个神经元的输入，即：表示第层的第个神经元的输出，即：其中表示激活函数。其实神经网络的实质就是每一层隐藏层（除输入和输出的节点，后面介绍）的生成，都生成了新的特征，新的特征在此生成新的特征，知道最新的特征能很好的表示该模型为止。
反向传播算法中的矩阵求导
qq_36420612的博客
10-07 2651
反向传播中的梯度计算图矩阵求导多条链接 在神经网络算法中，可以把复杂的网络结构看作一个复合函数。即用一个函数表征输入与输出之间的关系。误差的反向传递，提供了确定这个函数的方法。这里的误差，指的就是梯度。所以，BP算法就是根据复合函数求导的链式法则一步步求得。 计算图 为了更直观的理解这个函数，我们用 m=a+b 、n=c+d 显然， f=mn 本例中前向传播的过程中，f=4.5, a若增加...
复变函数导数求解（包含矢量、矩阵形式）
yjh_2019的博客
03-31 4631
复变函数求导（包括向量、矩阵形式）
矩阵求导术完整版.pdf
11-18
机器学习的数学技术是矩阵求导，传统的资料上的内容难以记忆。本文是一个好的入门资料，帮助大家迅速掌握理解矩阵求导方法
矩阵求导术.pdf
10-12
矩阵求导术.pdf
MATLAB矩阵求值
追梦少年ML的博客
09-08 1万+
这篇博客我将介绍在MATLAB中矩阵的一些求值操作。有矩阵的行列式值，矩阵的秩，矩阵的迹，矩阵的范数，矩阵的条件数。 1.方阵的行列式。 det(A)：求方阵A所对应的行列式的值。 2.矩阵的秩 矩阵线性无关的行数或列数成为矩阵的秩。 rank(A)：求矩阵A的秩。 3.矩阵的迹 矩阵的迹等于矩阵的对角线之和，也等于矩阵的特征值之和. trace(A)：求矩阵的迹. 4.向量和矩阵的范数. 矩阵或向量的范数用来度量矩阵或向量在某种意义下的长度。 5.矩阵的条件数。 矩阵A的条件数等于A的范数与A
矩阵求导术（下）
weixin_30611509的博客
12-22 225
原文链接：https://zhuanlan.zhihu.com/p/24863977 本文承接上篇https://zhuanlan.zhihu.com/p/24709748，来讲矩阵对矩阵的求导术。使用小写字母x表示标量，粗体小写字母表示列向量，大写字母X表示矩阵。矩阵对矩阵的求导采用了向量化的思路，常应用于二阶方法求解优化问题。 首先来琢磨一下定义。矩阵对矩阵的导数，需要什么样的定义？第...
【Practical】矩阵与向量求导技巧
Esperanto.的博客
08-21 343
矩阵与向量求导技巧
矩阵求导法则
热门推荐
weixin_39568744的博客
09-11 2万+
转载自：https://blog.youkuaiyun.com/dinkwad/article/details/72819832 矩阵求导的技术，在统计学、控制论、机器学习等领域有广泛的应用。鉴于我看过的一些资料或言之不详、或繁乱无绪，本文来做个科普，分作两篇，上篇讲标量对矩阵的求导术，下篇讲矩阵对矩阵的求导术。本文使用小写字母x表示标量，粗体小写字母xx 表示向量，大写字母X表示矩阵。 首先来琢磨一下定...
矩阵求导公式
Justpayne的专栏
01-20 5253
基本公式： Y = A * X --> DY/DX = A' Y = X * A --> DY/DX = A Y = A' * X * B --> DY/DX = A * B' Y = A' * X' * B --> DY/DX = B * A' 1. 矩阵Y对标量x求导： 相当于每个元素求导数后转置一下，注意M×N矩阵求导后变成N×M了 Y = [y(ij)] -->
Maple矩阵求导数
subtitle_的博客
11-19 1166
通常有两种情况：矩阵无复合求导和矩阵有复合求导。
矩阵求导
yang090510118的专栏
07-21 937
Y = A * X --> DY/DX = A' Y = X * A --> DY/DX = A Y = A' * X * B --> DY/DX = A * B' Y = A' * X' * B --> DY/DX = B * A'   于是把以前学过的矩阵求导部分整理一下： 1. 矩阵Y对标量x求导：    相当于每个元素求导数后转置一下，注意M×N矩阵求导后变成N×M了   
神经网络反向传播数学公式推到
最新发布
03-08
### 神经网络反向传播算法的数学公式推导 #### 前向传播阶段概述 在神经网络中，前向传播是指输入数据通过各层传递直到输出的过程。每一层的激活值由该层权重矩阵 \( W \)，偏置项 \( b \) 和来自前一层的激活值共同决定。对于第 \( l \) 层来说，其线性组合可以表示为： \[ z^{(l)} = W^{(l)}a^{(l-1)} + b^{(l)} \] 接着应用非线性的激活函数得到本层的激活值: \[ a^{(l)} = g(z^{(l)}) \] 这里 \( g(\cdot) \) 表示任意一种激活函数, 如 Sigmoid 或 ReLU 函数。 #### 计算损失并准备更新参数 完成一次完整的前向传播之后，会获得最终预测结果并与真实标签对比计算总误差或成本\( J(W,b; X,y)\)[^1]。此步骤旨在评估当前模型性能的好坏程度，并据此调整内部参数使未来预测更加精准可靠。 #### 反向传播核心概念 为了优化上述提到的成本函数，在已知目标变量的情况下采用梯度下降法逐步修正权值与阈值直至收敛于局部最优解附近。具体而言就是沿着负梯度方向移动一定距离从而减小整体差距大小；而实现这一目的的关键技术即所谓的“反向传播”。 #### 链式法则的应用 考虑到每一步操作都是基于之前步骤产生的中间产物来进行下一步运算的事实，则整个过程中涉及到大量复合函数间的相互作用关系。因此需要用到微积分里的一个重要工具——链式法则来简化求导过程。假设某一层的误差相对于某个特定权重的变化率可写作如下形式： \[ \frac{\partial}{\partial w_{ij}^{(l)}}J=\delta_j^{(l)}a_i^{(l-1)} \] 其中， - \( \delta_j^{(l)}=g'(z_j^{(l)})\sum_k{w_{jk}^{(l+1)}\delta_k^{(l+1)}} \) 代表了第 \( j \) 个单元格处累积下来的敏感度信息（也叫做残差），用于衡量该位置上的变化对总体影响有多大； - 而另一部分则是指向前一时刻状态下的实际贡献量级。 这种表达方式不仅直观而且易于编程实现自动化处理流程[^2]。 #### 权重更新规则 一旦获得了所有必要的梯度信息后就可以着手实施具体的参数修改工作了。一般情况下会选择按照下面给出的学习速率 η 的比例缩小后的相反数作为增量加入原始数值之中形成新的估计版本： \[ w_{ij}^{(l)} := w_{ij}^{(l)}-\eta\delta_j^{(l)}a_i^{(l-1)} \] 同样的道理适用于其他类型的待定系数比如偏移量等等[^4]。 ```python def update_weights(weights, deltas, activations, learning_rate): """ 更新权重 参数: weights (numpy.ndarray): 当前权重矩阵. deltas (list of numpy.ndarrays): 各层δ值列表. activations (list of numpy.ndarrays): 各层激活值列表. learning_rate (float): 学习速率. 返回: updated_weights (numpy.ndarray): 新的权重矩阵. """ updated_weights = [] num_layers = len(deltas) for layer in range(num_layers - 1): delta_matrix = np.outer(deltas[layer], activations[layer]) weight_update = -learning_rate * delta_matrix.T new_weight_layer = weights[layer] + weight_update updated_weights.append(new_weight_layer) return updated_weights ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值