丰brother的博客

目标定位image classification图像分类，解决识别出图像中是否是汽车classification with localization图像分类并定位，识别出图像中是否有汽车，并且用方框圈出来位置detection目标检测，图像中有多个车辆或行人等事物，同时用方框圈出来其位置为了实现图像分类并定位，我们要求神经网络的输出，不仅有softmax的分类结果，还要输出识别结果的位置信息，形成bounding box（bx，by，bh，bw）。bx，by为横纵坐标，bh为图像框高度，bw为图像

为什么要进行实例探究ResNet（Residual Network）残差网络，深度有152层inception Network经典网络LeNet-5当时没有采用padding，故图像的尺寸会越来越小。LeNet-5启发我们现代的网络结构：多个卷积层后，跟着池化层。或多个卷积层，跟着池化层，最后跟着几个全连接层。此外LetNet-5在池化层后，加入了非线性函数。本例中，池化层后加入了sigmoid函数AlexNet中的卷积操作使用了padding其参数个数大大增加。相对于LeNet-5的6

计算机视觉计算机视觉解决的问题：1.图像分类问题识别出一张图片是不是猫2.目标检测将图片中的车用方框圈出来3.图像风格迁移将图像和另一张带有风格的图片，结合成新的图片如果采用RGB图像，一个像素一般是三通道的。故，一个图片64×64×3=12288个特征如果是下面猫的图像，总共3 million个特征，放入神经网络训练，就会导致3m个输入的x假设我们第一层隐藏节点的个数为1000个，那么我们w[1]为（1000，3m）这也就导致w[1]总共有1000×3m=3billion 个参数。

调试处理根据调参的重要程度排序，首要重要的是红色，即学习率α，其次重要为黄色，再次之为紫色。当我们尝试参数的时候，尽量采用一定范围内随机取值。而不是划定网格，有规律的取值。因为面对很多维度参数时，很难说我们能直观衡量出哪一个参数对于整个学习更加重要。如果你随机取值，也就能探索更多超参数的潜在值。当我们寻找在一个区域的参数表现很好的时候，我们可以划定一个范围，更加精细的随机尝试取值。即大范围粗略尝试，小范围精细尝试。为超参数选择合适的范围当我们选择参数时，一般要选定一个合理的范围。之后在这个范围内，

mini-batch梯度下降在大数据等数据量大的时候，使用深度学习会导致很长的计算时间。故我们引用了一些优化算法，提高算法运行效率。mini-batch梯度下降将数据集分为t个子集。每一个子集分别进行梯度下降。理解mini-batch梯度下降batch梯度下降的图像如图左图所示，mini-batch梯度下降的图像如图右图所示可见mini-batch梯度下降的曲线并非光滑下降的。因为不同的小数据子集，其计算花费不一定为最小。可能由于极端数据，导致某一子集中，计算花费变大。但是总体趋势，却是下降的

训练/开发/测试集数据集划分：training set,dev set (cross validation set)，test set一般会按照比例划分，但是对于大数据来说。如果有1000 000的数据。我们会缩小dev set和test set的大小。因为这两个数据集，是用来选择合适的算法，与评估算法的各项指标的。故，本案例中，采取了10 000，即1%的比例另一个问题：训练集数据，测试...

为什么要使用深层神经网络电路定理来解释：如果使用多层神经网络，计算上面的x1 XOR x2 …，其算法的复杂度为O（logn）使用单层神经网络，其算法的复杂度为O（2n）搭建深层神经网络块向前传播和向后传播如何计算前向和反向传播前向传播公式反向传播公式参数VS超参数超参数能决定W，b的值。我们目前有很多的超参数，如：learning rateiterations...

多个例子中的向量化其中a[2](i),表示2表示第2层神经网络。i表示第i个训练样本。故我们可以将左边，使用循环对数值计算的神经网络，转化成右侧向量化计算。可以看出输入特征为几维，则输出特征为几维。激活函数tanh激活函数性能，优于sigmod激活函数。但是，如果分类为一个二分类问题，建议使用sigmod函数。因为其输出的区间，在0，1区间中。更建议使用ReLu激活函数，其在0...

2.1二分类问题将三通道的RGB图片每一个像素值竖直摞起来放置，形成特征向量x.即特征向量x为64×64×3（12288，1）的矩阵我们用x(1)代表第一张训练图片形成的特征向量总共共训练m张训练图片。将x(1)—x(m)横向放置，形成大矩阵X。故X为（nx，m）的矩阵输出的标签结果y，为（1，m）的矩阵logistic regression逻辑回归另一种写法：x0=1...

数据集越大使用深度学习效果越明显​对于图片数据适用于CNN神经网络对于音频，文字翻译适用于RNN神经网络对于图像与雷达信息的结合，适用于个性化订制的混合神经网络普通神经网络，CNN，RNN结构化数据与非结构化数据对于小尺寸的训练集，工程师的手工调参更重要。可能SVM等机器学习算法的效果超越神经网络的表现效果。但是对于大数据级别的数据，神经网络的优势突显。越大的数据量，就...