叶说喜欢你的博客

文章目录循环神经网络时间反向传播计算机视觉注意力模型多层循环神经网络LSTM(Long Short Term Memory)其他RNN架构变形总结循环神经网络输入输出变得比较自由将输出的状态每一个时间步内重新输入函数，比如以下RNN有两种方式。一个是具有隐藏状态的概念，它会反复地反馈给自己。在语言建模的问题中，一般用RNN时间反向传播对莎士比亚文章进行RNN训练，会自动生成类似他写的文章计算机视觉注意力模型多层循环神经网络L

文章目录LeNet-5AlexNetZFNetVGGNetGoogleNetResNet (残差网络)比较一些别的架构总结LeNet-5第一次用CNN来做手写体识别，网络比较浅，只有5层。AlexNet其在LeNet上做了一些改进，同时由于当时GPU容量不足，其特征图的前向计算和梯度的反向传播是在两张GPU上并行进行的。其获得了2012年的ImageNet的冠军ZFNet其在AlexNet上做了一些超参数的优化，但是主要结构还是类似的，获得了2013年的ImageNet的冠军

前言现在深度学习框架发展的太快了（文中的有些代码已经发生了些许变化），本文主要记录课中讲的关于 Pytorch、Caffe 和 TensorFlow 的内。重点是Pytorch。在之前的理论课上，我们知道，要完成神经网络的训练，我们最好是画出网络的计算图，然后理清其前向传播和反向传播过程。同时，要考虑底层实现的优化，比如数据的并行加载、网络的并行训练、GPU并行计算等。而神经网络框架让这些工作变得简单了很多：而现在框架实现的一个基本目标就是：像Numpy一样的编写前向传播，并能够通过 计算图 自动计

课堂问答A0: 下面关于优化算法的比较应该都是以凸优化问题举例的。Q1： 带有动量的SGD怎么处理不好的梯度方向？Q2: Dropout层在哪里使用？A2: 一般在全连接层后面添加DP使得某些神经元失活，当然也可以在卷积层后面添加，但是具体的做法使使得部分卷积核得到的激活图（activation map）置0.Q3: Dropout 对于梯度的回传有什么影响？A3: Dropout 使得梯度回传仅发生在部分神经元，使得我们的训练更加缓慢，但是最后的鲁棒性更佳。Q4: 一般，我们采用几种正则化

激活函数在-10和10 时候导数会变成接近0不为0为中心,如果都是输入都是正或者都是负，w会一直向最优的更新，但是需要很多次，如蓝色的图十分低效，陷入导数更新的问题正无穷输入不会饱和，导数不会为0，计算的效率很快负半部分还是饱和的，有一半的导数没意义了。并且不是0为中心数据预处理一般将数据归零化，标准化在机器学习中，可能有更复杂的东西，比如pca（主成分分析）或者白化，但同样对于图像，我们通常只坚持零均值，我们不做标准化，也不做更复杂的预处理，因为我们并不真正想要获取所

文章目录历史卷积神经网络全连接层卷积层例子池化层历史卷积神经网络全连接层卷积层卷积层需要保留结构例子卷积就是信号相关性步长stride变为2边界0填充每个过滤器都将在输入体积的整个深度进行点积，每个过滤器都会产生一个数字。所以输出的深度将是我们拥有的过滤器数量，如果输入是3D的，滤波盒也是3D的不进行填充，图片会变小池化层池化就是下采样（降低采样）。注意:池化是没有重叠的区域的，直接滑倒下个区域最大池化:只取该区域输入的最大值，

文章目录回顾计算图反向传播算法标量反向流模式向量神经网络回顾计算图反向传播算法标量微积分的链式求导简而概之，我们能通过知道z对x的偏导，以及上游的L对z的偏导，推理出L对x的偏导 后面看成一个复合函数反向流模式向量迭代实现前向和后向传播基本都是模块化的he总结，这是神经网络的核心技术使用反向传播来获得导数，是链式法则的递归应用，从后面开始，然后倒退，通过他来计算关于所有中间变量的导数，在前向传递中，我们想要计算操作的结果，并且会保存我们

文章目录回顾上节课损失函数svm问题1：为何损失函数选择了加1Softmax Classifier优化Optimization图像特征回顾上节课损失函数svm如果正确类别的分数高于错误类别的分数，则我们称之为0损失计算案例代表我们的分类器在这个数据集上的损失是5.27问题1：为何损失函数选择了加1答:实际上我们并不关心分数的绝对值。在这个函数中，我们只关注分数之间的相对差异，我们只关注正确类别的分数要远大于错误的类别的分数，所以事实上如果你把你整个W放大或缩小，那么它会相

image Classification pipeline-图像分类没有一个具体函数，不能像下图一样这关键的不是输入一张图来分辨它是不是猫，而是输入一张图分辨它是什么。去预测它是什么。Neasrest NeighborL1曼哈顿距离缺点：我们在进行训练的时候是快的O(1)，只需要算一轮，但是在预测的时候是很慢的O(n)卷积神经是恰恰相反的，是我们所想要的K-Nearest Neighbors加入了决策权重，每个样本有不用的投票vote权重L2欧几里得距离：平方根，L1更改