cs231n'18：Lecture 6 | Training Neural Networks I

最新推荐文章于 2023-12-08 22:54:10 发布
原创 最新推荐文章于 2023-12-08 22:54:10 发布 · 270 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#AI #CNN #cs231n

本次分享点评了CourseNote5-7的内容，指出其讲解杂乱且重点不突出的问题，并建议重点关注作业中的代码实现部分。此外，更新内容提及2018年关于BN的讲解有大幅增加。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这一节讲Course Note 5/6和7中的一部分。这是这门课中讲的最烂的一节，内容杂乱，没有重点。既然ReLU是最常用的，为什么又拿tanh举例子；BN这么重要的问题没讲明白，下面同学提了一大堆问题。

看看Course Note 5笔记，Course Note 6笔记，Course Note 7笔记就行了，也没多少东西。重点还是作业里代码怎么实现的。

update：Course Note和视频都是2017年的，BN的内容在2018年有了大幅度的增加，详见视频以及slides。

Lecture 6 链接

TensorFlow bug（五）——ValueError: The passed save_path is not a valid checkpoint
qq_37764129的博客
06-28 2万+
问题描述： 在做resnet分类的测试时，出现了这个bug: 网上给出的原因是文件导入路径的字符太长，很明显我这个不符合这个原因。还有一个说法是绝对路径相对路径的问题，具体描述如下： 在调用tf.train.Saver#save时，如果使用的路径是绝对路径（“\”），那么保存的checkpoint里面用的就是绝对路径；如果使用...
Stanford cs231n'18 课程及作业详细解读
FortiLZ的博客
06-26 4408
Stanford
Tensorflow：variable变量和变量空间
皮皮blog
08-01 4734
name_scope: 为了更好地管理变量的命名空间而提出的。比如在 tensorboard 中，因为引入了 name_scope， 我们的 Graph 看起来才井然有序。 variable_scope: 大部分情况下，跟 tf.get_variable() 配合使用，实现变量共享的功能。with tf.variable_scope('scopename', reu...
cs231n'18：Lecture 7 | Training Neural Networks II
FortiLZ的博客
06-26 261
Lecture 7主要讲note 7中的优化问题，这个小伙子比那个小姑娘讲的好太多。具体内容参考Course Note 7笔记。Lecture 7 链接
CS231n: Lecture 10 | Recurrent Neural Networks
KunBB的博客
10-01 949
Lecture 10主要讲解了循环神经网络模型的结构、前向传播与反向传播，并由此引出了LSTM（长短期记忆网络），除此之外还介绍了图像标注、视觉问答等前沿问题。 文章目录RNN网络结构 RNN网络结构 ...
cs231n：Lecture 7: Training Neural Networks
最新发布
2301_79012932的博客
12-08 803
1. **对称性问题：** 如果所有的权重都相同，每个神经元在反向传播时将收到相同的梯度信号。这会导致神经网络中的所有神经元在初始时具有相似的输出，因为它们所拥有的权重相同。2. **信息瓶颈：** 如果初始时所有神经元都输出相似的值，那么在网络的后续层中，这些相似的值将传播，可能导致信息的瓶颈。因此，通常建议使用一些随机的初始化策略，如高斯分布或均匀分布，以打破对称性，促使网络学到更丰富的特征。使用前一步的架构，使用所有训练数据，打开小的权重衰减，找到在约100次迭代内显著降低损失的学习率。
【CS231n 学习笔记】Lecture5：Training Neural Networks Part 1
weixin_44564705的博客
08-21 267
Some wrong views 错误观点：ConvNets need a lot of data to train 事实上对于设计目的来说这是一个错误的观点，完全可以使用小数据集来训练，原因是我们可以通过一些细调来得到更多的细节。 大多数情况下我们不会一开始就进行卷积网络的训练，通常会先进行预训练和细调，先在一些大的训练集上（如ImageNet数据集）进行训练，再将训练的结果转移到自己的小数据集中。而ImageNet的预训练已经有人做好了，很多人用了数月的时间对卷积神经网络在不同的数据集上进行测试，
【CS231n 学习笔记】Lecture6：Training Neural Networks Part 2
weixin_44564705的博客
08-24 231
Parameter Updates SGD 随机梯度下降是一种较为简单的优化算法，首先通过反向传播得到梯度，然后用梯度乘以学习率： 随机梯度下降算法是根据梯度的方向进行更新的，如果有一个损失函数表面（损失值集成的平面），有一个方向的长度远远大于其他方向，所以损失函数（偏导数）在该水平方向上就比较浅显（shallow），而在垂直方向上就比较陡峭（steep），我们要根据合成的方向去进行参数更新，以达到损失的最小值，也就是说，损失函数在水平方向更新的很慢，在垂直方向上更新的较快： 上述图..
CS231n系列课程Lecture6: Training Neural Networks, Part 2
Felaim的博客
05-03 1355
课程链接: https://pan.baidu.com/s/1mhGp08K 密码: xgexParameter Updates1.梯度下降（最速下降法）这个就是简单的梯度下降，dxdx就是求出的梯度，就是个微小增量，学习率是设置的超参数，也就是步长，如果梯度为正，所以说明函数上升，所以xx要加上负梯度。求出的梯度只有方向，学习率决定xx改变的大小，这就是最简单的梯度下降的思想那么按照上面的方法，如
CS231n Lecture 8: Training Neural Networks Part2
weixin_43996402的博客
04-17 231
Optimization 动量版SGD SGD仍然还有一些问题：当损失函数在一个方向快速改变，另一个方向很慢地改变时，梯度下降会变成非常慢地一个过程 同时，SGD对于驻点和局部最小值的表现并不好，在那些地方会堵住。因此，现在考虑一种SGD+动量的方法： 现在的速度 = 摩擦系数 * 之前的速度+梯度 新的权重 = 旧的权重 - 学习率 * 新的速度 摩擦系数一般取0.9或0.99 Nesterov 动量 vt+1=ρvt−α∇f(xt+ρvt)xt+1=xt+vt+1\begin{aligned}v_{
cs231n'18： Assignment 3 | RNN Captioning
FortiLZ的博客
07-06 2968
Assignment3 | RNN Captioning 这部分实际上做了两件事情，首先建立一个 RNN，然后以此 RNN 为基础，训练一个模型来完成图片 caption 的工作。我感觉作业中的代码先后顺序有些混乱，这里依照自己的理解，把内容重新组织一下。 Dataset train 和 val 使用的是 Coco2014，从打印出来的 data 信息来大概浏览一下数据的构成。 t...
cs231n'18： Assignment3 | Network Visualization
FortiLZ的博客
07-11 2555
Assignment3 | Network Visualization 在这里只解决与 NN 有关的问题，与 PyTorch 有关的问题，集中到另外的一个 project 专门学习。 Saliency Maps Saliency map 表示的是图片中的每一个像素对最终分类 score 的影响有多大。计算 saliency map 时，首先使用一个训练好的 model，计算出输入图片的对...
cs231n'18： Assignment 2 | FullyConnectedNets
FortiLZ的博客
06-28 2133
Assignment 2 | FullyConnectedNets gradient check函数的不同实现 到目前为止用到了三个gradient check函数，分别是：grad_check_sparse，eval_numerical_gradient，eval_numerical_gradient_array。 eval_numerical_gradient def eval...
cs231n'18： Assignment 2 | Batch Normalization
FortiLZ的博客
06-27 1868
Assignment 2 | Batch Normalization 上文吐槽BN部分讲的太烂，2018年果然更新了这一部分，slides里加了好多内容，详见Lecture 6的slides第54到61页，以及Lecture 7的slides第11到18页，这里结合着原始论文和作业，把BN及其几个变种好好总结一下。 Batch Normalization Train 前面的作业中已...
cs231n'18：Assignment 2 | PyTorch
FortiLZ的博客
06-29 1846
Assignment 2 | PyTorch 初步介绍了一下 PyTorch，准备找个教程好好学习一下，以后以 PyTorch 为主了。
cs231n'18： Assignment 2 | Dropout
FortiLZ的博客
06-29 1396
Assignment 2 | Dropout Dropout 就是在 train 的过程中随机的丢掉一部分连接，但是在 test 的时候使用全部的连接。这样做的好处是在 train 的时候引入一些随机性，在 test 的时候相当于用这些随机性进行了 ensemble。起到了 reg 的作用。 Inline Question 1: What happens if we do no...
cs231n'18： Assignment 3 | LSTM Captioning
FortiLZ的博客
07-08 1035
Assignment3 | LSTM Captioning 上一节介绍了 Vanilla RNN，同 NN 一样，RNN 存在的最大的问题就是梯度消失。这是因为，RNN 中需要学习的参数在一个 time capsule 结束之后才会更新一次，而在同一个 time capsule 中，所有的时刻都会有 loss 产生，因此也都会有对于参数的梯度产生，最后参数更新时的梯度是所有这些梯度之和。梯度的计...
cs231n'18： Assignment3 | Style Transfer
FortiLZ的博客
07-12 898
Assignment3 | Style Transfer 所谓 style transfer，就是找一张原图，一张样式图，固定一个 CNN 模型，设计一种 loss 的计算方法，然后在 CNN 中 backprop 出 loss 对原图中每一个像素点的梯度，根据此梯度来更新原图中的每一像素的值。最后得到的图片既有原图的内容，又有样式图的风格。这里的核心问题是 loss 计算方法的设计。 C...
深入理解CS231N：Andrej Karpathy演讲笔记与作业解析
- CS231N：斯坦福大学开设的一门关于计算机视觉的课程，全称为CS231N: Convolutional Neural Networks for Visual Recognition。该课程专注于深度学习在图像识别领域的应用，Andrej Karpathy是该课程的讲师之一。 - ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值