cs231n BP以及derivatives问题

最新推荐文章于 2022-03-06 19:33:15 发布
最新推荐文章于 2022-03-06 19:33:15 发布
阅读量271 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： cs231n 文章标签： 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/i_csdn_water/article/details/114712866
本文详细探讨了神经网络中反向传播（BP）的原理，特别是针对线性层的情况。通过分析不同维度输入输出的导数，揭示了BP过程中如何处理高维矩阵。关键点在于，无论中间层如何套用，最终的∂x∂L, ∂W∂L, ∂b∂L的形状与x, W, b相同。对于线性层，当Y=XW时，得出∂W∂L=XT∂Y∂L和∂W∂L=∂Y∂LWT的结论，简化了计算过程。" 7524653,1272931,n重幂的不同加括号方法,"['动态规划', '数学', '算法']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言：

关于BP以及链式法则的意义不用多说，cs231n也专门提供了两个PDF，非常有用，建议看一下。
一个是derivations BP and vectorization，讲述了不同维度输入输出之间如何求导。
Derivatives, Backpropagation, and Vectorization
另一个是 BP for a linear layer，解决了一半全连接层的BP问题，基本可以解决所有神经网络的BP问题。
Backpropagation for a Linear Layer
这两个链接不翻墙也可以下。

Derivatives, Backpropagation, and Vectorization

这个前半部分介绍了不同形状的input output如何求导，后半部分和下一篇基本重复。
求导就是y的每个元素对x的每个元素求导。

  1. y,x都是标量。显然 ∂ y ∂ x \frac{\partial y}{\partial x} ∂x∂y​也是一个标量。
  2. y是标量，x是一维向量。 ∂ y ∂ x \frac{\partial y}{\partial x} ∂x∂y​也是一个向量，每个元素是y对x的每个维度的偏导。
  3. y,x都是一维向量。 ∂ y ∂ x \frac{\partial y}{\partial x} ∂x∂y​是一个矩阵 W W W， W i , j W_{i,j} Wi,j​是 ∂ y i ∂ x j \frac{\partial y_i}{\partial x_j} ∂xj​∂yi​​
  4. y,x都是高维矩阵。 ∂ y ∂ x \frac{\partial y}{\partial x} ∂x∂y​就是一个高维矩阵，形状为yx叉乘的维度。(这里他提出了一个广义矩阵的概念，就是将y,x的形状当成一个标量一样运算，但是实际上没有什么意义，后面可以看到在BP里面都是一个标量L对矩阵BP，高维矩阵作为中间过程有办法跳过。)

Backpropagation for a Linear Layer

这就是重点了。
重要性质
∂ L ∂ x \frac{\partial L}{\partial x} ∂x∂L​, ∂ L ∂ W \frac{\partial L}{\partial W} ∂

最低0.47元/天 解锁文章

200万优质内容无限畅学
cs231n Assignment 1# two layer net详细答案及总结
i_csdn_water的博客
03-14 3718
Forward pass: 这里没有任何技术上的难点，就是写了文件中loss函数中scores和loss部分。 loss函数作用就是如果传入了y就返回loss和对所有w和b的梯度，这里在traning的时候调取。 如果没有传入y，就只返回scores，在predict的时候调用。 backward pass： 这里写了loss函数中计算grads的部分，完成了loss函数的书写内容。 ...
cs231n课程笔记
麒麒哈尔的博客
07-26 581
aaa课程链接图像分类 Image ClassificationNN & KNNLinear Classification神经网络卷积激活函数权重初始化正则化Loss训练前的检查训练中需要关注的点功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如...
cs231n 学习过程 问题记录
zuqiutxy的博客
07-30 403
（1）数据预处理时，将数据集转化为0均值的原因： 若数据均大于0，则梯度方向传播时，会均为正或者负，则导致最后权值均为正或负。 但实际使用中由于BATCHsize的存在，在更新权值时，所有数据的梯度相加，可能会使 权值有多重符号。 This has implications on the dynamics during gradient descent, because if the dat
cs231n的assignment2中cython编译遇到的问题与解决
Lilac_Gooseberry的博客
03-06 739
1.在python2.7的环境中，先执行 pip install cython 课程文件所给的操作却会有如下结果： UnicodeDecodeError: 'ascii' codec can't decode byte 0xb4 in position 1: ordinal not in range(128) 这是因为python2.7默认为ascii编码，需要在python2.7安装目录下的Lib\site-packages文件夹中新建sitecustomize.py，内容如下： impo
CS231n 笔记汇总
谢军的博客
12-11 1万+
CS231n的全称是CS231n: Convolutional Neural Networks for Visual Recognition，即面向视觉识别的卷积神经网络。该课程是斯坦福大学计算机视觉实验室推出的课程。需要注意的是，目前大家说CS231n，大都指的是2016年冬季学期（一月到三月）的最新版本。
# cs231n （四）反向传播
机器学习-深度学习-图像处理-opencv-段子
09-23 1427
cs231n （四）反向传播 标签（空格分隔）： 神经网络 文章目录cs231n （四）反向传播0.回顾1.引言2. 通过简单表达式理解梯度3. 链式法则计算复合函数4. 如何理解反向传播5. 模块化：Sigmoid6. 实践反向传播：分段7. 反向梯度流的模式8. 向量化计算梯度啦9. 总结一下呗10 下节预告转载和疑问声明 0.回顾 cs231n （一）图像分类识别讲了KNN cs231n...
cs231n笔记--反向传播
second24的博客
10-20 475
简单表达式和梯度首先反向传播是利用链式法则递归计算表达式的梯度的方法。从简单表达式入手可以为复杂表达式打好符号和规则基础。先考虑一个简单的二元乘法函数对两个输入变量分别求偏导数还是很简单的： 这些导数的意义在于函数变量在某个点周围的极小区域内变化，而导数就是变量变化导致的函数在该方向的变化率。链式法则现在考虑更复杂的包含多个函数的复合函数，比如。虽然这个表达足够简单，可以直接微分，但是在此使用一种
CS231n笔记4-Data Preprocessing, Weights Initialization与Batch Normalization
u012767526的专栏
05-14 6350
Data Preprocessing, Weights Initialization与Batch NormalizationData Preprocessing Weights Initialization与Batch Normalization 数据预处理Data Preprocessing 权重初始化Weights Initialization 让权重初始化为0 0方差1e-2标准差 0方差1标
专题：深度神经网络基本问题的原理详细分析和推导
热门推荐
Burningbear-燃烧的灰熊
04-10 2万+
这是一篇关于神经网络算法设计的几个基本问题的理论分析的专题文章，涉及到比较多的原理推导。文章的主体来自Ian Goodfellow 的《Deep Learning》；Andrew Ng在Coursera的《Machine Learning》课程；周志华老师的《机器学习》Michael Nielson 的线上书籍： 曹振华老师的《随机数学基础》。本文涉及到的概念和理论，尽可能参考自维基百科，保证所有观点的严密和权威。
[cv231n] Backpropagation for a Linear Layer
gdtop的个人笔记
02-27 590
Backpropagation for a Linear Layer是李飞飞大牛学生Justin Johnson（注意断句），点击可以看他的个人主页发表的论文涉及了多个领域，博士期间在CVPR/ICCV/ECCV顶会上发表多达13篇论文。本文是他为cs231n课程撰写关于Backpropagation的notes，也是我迄今为止见过最简洁，数学推理比较完备的一篇notes。 在本篇笔记中主要是...
Backpropagation for a Linear Layer.pdf
03-04
In these notes we will explicitly derive the equations to use when backprop- agating through a linear layer, using minibatches.
Derivatives, Backpropagation, and Vectorization.pdf
03-04
Derivatives:Scalar Case;Gradient: Vector in, scalar out;Jacobian: Vector in, Vector out;Generalized Jacobian: Tensor in, Tensor out. Backpropagation with Tensors.
周报:4.5-4.12
qq_41854014的博客
04-12 203
1.基础知识: cs231n(2个lecture,3-4),细致的看了以下的内容. 1.1 Backpropagation for a Linear Layer 反播详细的推导过程及代码实现. 1.2 Derivatives, Backpropagation, and Vectorization 导数(标量,梯度,Jacobian,Tensor),通过张量反播的数学推导过程及代码实现. 1.3 C...
［总结］机器学习中用到的线性代数公式，看完这个就够了
YiqiangXu的博客
07-09 1179
Backpropagation for a Linear Layer Vector, Matrix, and Tensor Derivatives
[cv231n] Derivatives, Backpropagation, and Vectorization
gdtop的个人笔记
02-28 426
Derivatives, Backpropagation, and Vectorization是李飞飞大牛学生Justin Johnson（注意断句），点击可以看他的个人主页发表的论文涉及了多个领域，博士期间在CVPR/ICCV/ECCV顶会上发表多达13篇论文。本文是他为cs231n课程撰写关于Derivatives, Backpropagation, and Vectorization的n...
Stanford cs231n'18 课程及作业详细解读
FortiLZ的博客
06-26 4405
Stanford
CS231n-2017 Assignment2 NN、BP、SGD、BN、CNN
suredied的博客
11-07 1289
一、全连接神经网络 在上一次作业中，已经实现了两层神经网络的架构。但该实现有个问题，即程序不够模块化，比如在loss()函数中，同时计算了损失函数和各参数的梯度。这种耦合，使得扩展网络深度时，需要做大量修改。另外，神经网络的层与层的结构也类似，这意味着朴素实现的方式中存在着代码重复。而本作业中，将要实现一种模块化的神经网路架构：将各个功能层封装为一个对象，如全连接层对象、ReLU层对象；在各层对象...
CS231n课程笔记4.1：反向传播BP
silent56_th的博客
12-19 2010
CS231n简介详见 CS231n课程笔记1：Introduction。 注：斜体字用于注明作者自己的思考，正确性未经过验证，欢迎指教。课程作业关于BP实现的实例请参考 CS231n作业笔记1.3：SVM的误差函数以及反向传播（非向量及向量算法）。1. 计算图 VS 微积分如果可以直接使用微积分得到gradient，使用BP则会显得效率低下。但是通常情况下我们需要计算多层的神经网络，其中设计很多
cs231n Assignment 1# SVM详细答案及总结
i_csdn_water的博客
03-12 1526
Assignment 1# SVM线性分类器简介：score function:loss function 线性分类器简介： 在这里的两个分类器SVM和softmax都是线性分类器，也是后序神经网络的基础。他由两部分组成：score function和loss function。 前者通过WTx+bW^Tx+bWTx+b的线性方式计算出每一个图片向量对于不同类别的得分，后者则采用不同的loss对误差进行度量（SVM or softmax）。 score function: 对于一张高维的图片，首先还是将它伸
In the file cs231n/layers.py, implement the backward pass for dropout. After doing so, run the following cell to numerically gradient-check your implementation.
最新发布
07-16
<think>我们正在处理cs231n作业2中dropout的反向传播实现问题。用户要求实现`cs231n/layers.py`中的dropout反向传播，并运行梯度检查。 根据错误堆栈，之前的错误（缩进问题）可能已经解决，现在需要关注的是实现dropout的反向传播。 步骤： 1. 在`layers.py`中找到`dropout_backward`函数，并实现反向传播。 2. 实现后，运行给定的单元进行梯度检查。 实现思路： 前向传播中，我们随机生成一个掩码（mask），其中以概率p将神经元的输出置0（训练阶段），测试阶段则使用整个网络。在反向传播时，只有在前向传播中被激活的神经元（mask中为1的位置）才会传递梯度，并且要乘以相同的掩码（注意：实际上在前向传播中我们除以了keep_prob来保持期望不变，因此在反向传播中梯度也要除以keep_prob？但根据代码，我们通常在前向传播时除以keep_prob，所以反向传播时只需乘以mask（因为被关闭的神经元梯度为0，而开启的神经元梯度不变，但由于前向传播时输出被除以keep_prob，所以反向传播时梯度也要乘以mask（0或1）并除以keep_prob？）） 实际上，在cs231n的作业中，前向传播的实现通常如下（以dropout_forward为例）： mask = (np.random.rand(*x.shape) < p) / p # 这里p是保留概率，即keep_prob，这样在训练时期望值不变 out = x * mask 因此，反向传播的推导： dout是上一层的梯度，那么dx = dout * mask （注意：这里不需要再除以p，因为前向传播时已经除以p了，所以mask中已经是除以p的，所以直接乘即可？） 但是，我们看前向传播的代码（在layers.py中）： if mode == 'train': # 生成二值掩码，以概率p保留神经元 mask = (np.random.rand(*x.shape) < p) / p # 除以p是为了保持期望值不变 out = x * mask elif mode == 'test': out = x 因此，在反向传播中，我们只需要将梯度乘以mask（注意，这个mask在前向传播中已经除以了p，所以这里直接乘即可）： dx = dout * mask 但是，我们需要注意的是，在反向传播中，我们只对训练模式进行计算，测试模式不需要计算梯度（但通常测试模式不会调用反向传播，所以我们可以忽略）。因此，在`dropout_backward`函数中，我们需要根据前向传播时保存的mask（在cache中）来计算梯度。 具体实现： 在`dropout_forward`中，我们返回out和mask（作为cache的一部分） 在`dropout_backward`中，我们从cache中取出mask，然后计算dx = dout * mask 然而，注意：在反向传播中，我们不需要对mask进行任何缩放，因为前向传播时已经做了缩放（除以p）。所以反向传播时直接乘以mask即可。 但是，让我们重新审视：前向传播时，我们做了 out = x * mask，而mask是0和1/p的矩阵（因为除以了p）。所以实际上，在反向传播中，dx = dout * mask（注意mask中0的位置梯度为0，非0的位置为1/p）。因此，这样计算出来的dx会放大梯度？不对，因为前向传播时输出被缩小了（乘以了mask，而mask中每个元素是1/p的概率为p，0的概率为1-p，所以期望是1，因此反向传播时梯度也应该是这样处理，所以是正确的。 因此，实现如下： 在`layers.py`中找到`dropout_backward`函数，可能已经有一个框架： def dropout_backward(dout, cache): """ Perform the backward pass for (inverted) dropout. Inputs: - dout: Upstream derivatives, of any shape - cache: (dropout_param, mask) from dropout_forward. """ dropout_param, mask = cache mode = dropout_param['mode'] dx = None if mode == 'train': # 只需要在训练模式下计算梯度 # 你的代码 dx = dout * mask # 因为mask中0的位置梯度为0，非0的位置为1（这里注意：mask在前向传播中已经除以了p，所以这里直接乘） elif mode == 'test': dx = dout return dx 注意：mask在前向传播中已经除以了p，所以这里直接乘即可。 但是，我们再看前向传播中mask的生成：mask = (np.random.rand(*x.shape) < p) / p 因此，mask中每个元素要么是0，要么是1/p。那么dx = dout * mask 意味着：在保留的神经元位置上，梯度是dout的1/p倍，而被丢弃的位置梯度为0。 然而，实际上，我们期望的是：在训练时，由于我们只保留了p比例的神经元，所以每个被保留的神经元应该承担更多的责任，因此梯度应该更大（乘以1/p）。这样理解：前向传播中，我们期望输出不变（除以p），那么反向传播时，梯度也应该相应调整（乘以1/p）。所以这样实现是正确的。 梯度检查： 实现后，运行给定的单元进行数值梯度检查。如果实现正确，梯度检查应该通过（相对误差很小）。 如果遇到问题，可以检查： - 确保在训练模式下使用了正确的mask（从cache中取出） - 确保测试模式下直接返回dout（因为测试模式不使用dropout） 现在，根据用户要求，在回答后提出3-5个相关问题。 注意：用户的问题是关于实现dropout的反向传播，并运行梯度检查。我们提供了实现思路和注意事项。 因此，回答结构： 1. 解释dropout反向传播的实现方法。 2. 给出代码实现的要点。 3. 提醒梯度检查的注意事项。 然后，提出相关问题。 注意：必须用中文，且最后输出“§§相关问题§§”并列出3-5个问题。</think>### Dropout 反向传播实现指南 在 `cs231n/layers.py` 中实现 dropout 反向传播时，需要遵循以下核心逻辑： 1. **前向传播回顾** dropout 前向传播中，我们生成二进制掩码 `mask`： ```python mask = (np.random.rand(*x.shape) < p) / p # p 是保留概率 out = x * mask ``` 2. **反向传播实现** 反向传播只需将上游梯度乘以相同的掩码： ```python def dropout_backward(dout, cache): """ Inputs: - dout: 上游梯度 (任意形状) - cache: 来自 dropout_forward 的元组 (dropout_param, mask) 返回: - dx: 相对于输入 x 的梯度 """ dropout_param, mask = cache mode = dropout_param['mode'] dx = None if mode == 'train': # 关键步骤：梯度仅通过激活的神经元传递 dx = dout * mask elif mode == 'test': dx = dout return dx ``` 3. **梯度检查要点** 运行梯度检查时需注意： - 确保在训练模式下测试（`mode='train'`） - 使用较小的输入数据加速计算 - 相对误差应小于 `1e-7` ```python from cs231n.gradient_check import eval_numerical_gradient # 测试示例 x = np.random.randn(10, 10) + 10 p = 0.8 out, cache = dropout_forward(x, {'mode': 'train', 'p': p}) dout = np.random.randn(*out.shape) dx_num = eval_numerical_gradient(lambda x: dropout_forward(x, cache)[0], x, dout) dx = dropout_backward(dout, cache) # 检查误差 error = rel_error(dx_num, dx) print('Dropout相对误差:', error) ``` 4. **常见错误处理** - 如果梯度检查失败： 1. 确认前向传播正确实现了缩放（`/p`） 2. 检查掩码在训练/测试模式下的正确切换 3. 验证缓存中是否保存了原始掩码
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值