- 博客(5)
- 收藏
- 关注
RSS订阅原创 读论文随笔 02：Deep Residual Learning for Image Recognition (ResNet)
这篇文章基于当时的环境，针对比较困难的深度神经网络的训练，提出了一种残差学习的框架，使得训练更加容易。训练出来的152层深的神经网络是VGG的8倍，且复杂度更低。仅仅是将CNN的主干网络用成残差网络，其性能就可以显著提高。Innovation深度学习不是说简单把层数加深就可以做到性能更好的，一个问题是深度加深会导致梯度消失或者梯度爆炸。通过初始归一化和中间层归一化可以解决这个问题，在后续迭代中可以收敛。但带来的另一个问题是收敛后的深层网络不如更浅的网络训练出来的模型。
2024-06-27 15:10:34
180
原创 读论文随笔 03：CALVIN: A Benchmark
文章发表于2022年，由于当时已经有很多人注意到nlp与robot结合，只不过没有一个好的评判标准。所以作者提出了一个benchmark，说是第一个公开的结合了自然语言控制、高维多模态输入、7自由度的机械臂控制以及长视野的机器人操纵。他们评估了之前前的多情景模仿学习（MCIL）模型，认为其对有目标导向的任务有较好的效果，但是在他们的长视野任务中表现并不理想，或许引入强化学习也会有一个不错的结果。
2024-06-27 15:05:30
1404
原创 读论文随笔 01：ImageNet Classification with Deep Convolutional Neural Networks （AlexNet）
作者在这个研究中使用了深度卷积神经网络对ImageNet里的120万张图片做分类，同时他们所构建出的模型在2012年ILSVRC中拿到第一名。
2023-08-27 00:09:48
171
1
原创 深度学习 学习小随笔（持续更新）
如果不使用激活函数，则中间隐藏层相当于对z=w * a + b的z做了g(z) = z 的操作。而对线性函数的线性函数仍然是线性函数，则相当于中间的隐藏层不管有多少层最后都可以被统一成一层则隐藏层失去效果了。故需要激活函数来对隐藏层进行变化。1、需要使用激活函数的原因。
2023-07-21 23:00:06
142
1
原创 简述正则化如何解决过拟合问题
首先了解到，过拟合问题是因为训练过多导致模型过于复杂，从而只能适应训练集不能使用到测试集上。正则化一言蔽之就是让后面训练的权重降低，越靠后的epoch所能改变的越少。使得对模型的改变有限从而避免过拟合。我们要理解cost函数，为了让这个函数越来越小是训练模型的准则。正则化就是通过这个函数入手，在原本的cost函数后加上f函数的参数平方和。（图借用吴恩达老师的图）显而易见，每次梯度下降中Wj都会缩小一点点，这就是正则化的工作原理。这样使得每次Wj更新都从图2变为图3（依旧是借的吴恩达老师的公式）
2023-05-10 23:43:45
264
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人