leva的博客

正如convModel所描述的那样，我们在第一层并行运行3×3、4×4和5×5的过滤器，而在接下来的卷积层中，由于内存限制而减小深度，只运行3×3和5×5的过滤器。然而，由于该领域缺乏专业知识，宫颈癌筛查和治疗计划面临的最大挑战之一是确定合适的治疗方法，而如果能够实时确定宫颈癌的类型，治疗工作将得到极大提高。反之，当学习率维持在很高的水平，将会导致损失函数过早收敛于局部值。对于CNN，输入数据不仅需要统一的大小，并且还需要足够的分辨率以便区分分类中的主要特征，而较低的分辨率可以避免计算能力上的限制。...

YOLO实战1. 基本原理YOLO将物体检测作为回归问题求解。基于一个单独的end-to-end网络，完成从原始图像的输入到物体位置和类别的输出。从网络设计上，YOLO与rcnn、fast rcnn及faster rcnn的区别如下：YOLO训练和检测均是在一个单独网络中进行。YOLO没有显示地求取region proposal的过程。而rcnn/fast rcnn 采用分离的模块（独立于网络之外的selective search方法）求取候选框（可能会包含物体的矩形区域），训练过程因此也是分成多个模

预测过程预测过程比较简单，对于每个预测框，首先根据类别置信度确定其类别（置信度最大者）与置信度值，并过滤掉属于背景的预测框。然后根据置信度阈值（如0.5）过滤掉阈值较低的预测框。对于留下的预测框进行解码，根据先验框得到其真实的位置参数（解码后一般还需要做clip，防止预测框位置超出图片）。解码之后，一般需要根据置信度进行降序排列，然后仅保留top-k（如400）个预测框。最后就是进行NMS算法，过滤掉那些重叠度较大的预测框。最后剩余的预测框就是检测结果了。...

深度学习目标检测：SSD训练过程（1）先验框匹配在训练过程中，首先要确定训练图片中的ground truth（真实目标）与哪个先验框来进行匹配，与之匹配的先验框所对应的边界框将负责预测它。在Yolo中，ground truth的中心落在哪个单元格，该单元格中与其IOU最大的边界框负责预测它。但是在SSD中却完全不一样，SSD的先验框与ground truth的匹配原则主要有两点。首先，对于图片中每个ground truth，找到与其IOU最大的先验框，该先验框与其匹配，这样，可以保证每个ground

深度学习目标检测：SSD（1）采用多尺度特征图用于检测所谓多尺度采用大小不同的特征图，CNN网络一般前面的特征图比较大，后面会逐渐采用stride=2的卷积或者pool来降低特征图大小，这正如图3所示，一个比较大的特征图和一个比较小的特征图，它们都用来做检测。这样做的好处是比较大的特征图来用来检测相对较小的目标，而小的特征图负责检测大目标，如图4所示，8x8的特征图可以划分更多的单元，但是其每个单元的先验框尺度比较小。（2）采用卷积进行检测与Yolo最后采用全连接层不同，SSD直接采用卷积对不同的

深度学习目标检测：SSDSSD: Single Shot MultiBox Detector目标检测近年来已经取得了很重要的进展，主流的算法主要分为两个类型（参考RefineDet）：（1）two-stage方法，如R-CNN系算法，其主要思路是先通过启发式方法（selective search）或者CNN网络（RPN)产生一系列稀疏的候选框，然后对这些候选框进行分类与回归，two-stage方法的优势是准确度高；（2）one-stage方法，如Yolo和SSD，其主要思路是均匀地在图片的不同位置

深度学习目标检测：FAST RCNNFast-RCNN主要贡献在于对RCNN进行加速，快是我们一直追求的目标（来个山寨版的奥运口号- 更快、更准、更鲁棒），问题在以下方面得到改进：1）卖点1 - 借鉴SPP思路，提出简化版的ROI池化层（注意，没用金字塔），同时加入了候选框映射功能，使得网络能够反向传播，解决了SPP的整体网络训练问题；2）卖点2 - 多任务Loss层A）SoftmaxLoss代替了SVM，证明了softmax比SVM更好的效果；B）SmoothL1Loss取代Bouding bo

Faster R-CNN使用的检测框架是RPN网络+Fast R-CNN网络分离进行的目标检测，整体流程跟Fast R-CNN一样，只是region proposal现在是用RPN网络提取的（代替原来的selective search）。RPN的核心思想是使用卷积神经网络直接产生region proposal，使用的方法本质上就是滑动窗口。RPN的设计比较巧妙，RPN只需在最后的卷积层上滑动一遍，因为anchor机制和边框回归可以得到多尺度多长宽比的region proposal。作者为了让RPN的网络和

深度学习目标检测：RCNNRCNN的检测流程：1.3 SVM特征分类作者论文里并没有介绍怎么进行SVM的特征分类，不过要注意的是作者为每个类都训练了一个SVM分类器，在训练/检测的过程中使用这些分类器为每一类进行分类。训练与测试阶段2.1 应用测试阶段在测试阶段，首先使用selective search提取测试图像的2000个proposals，然后将所有proposal图像拉伸到合适的大小并用CNN进行特征提取，得到固定长度的特征向量。最终对于每个类别，使用为该类别训练的SVM分类器对得到的所

深度学习目标检测：RCNN什么是目标检测？目标检测主要是明确从图中看到了什么物体？他们在什么位置。传统的目标检测方法一般分为三个阶段：首先在给定的图像上选择一些候选的区域，然后对这些区域提取特征，最后使用训练的分类器进行分类。1. 区域选择这一步是为了对目标进行定位。传统方法是采用穷举策略。由于目标可能在图片上的任意位置，而且大小不定，因此使用滑动窗口的策略对整幅图像进行遍历，而且需要设置不同的长宽。这种策略虽然可以检测到所有可能出现的位置，但是时间复杂度太高，产生的冗余窗口太多，严重影响后续特征的提

深度学习超参数1）学习率（Learning Rate）学习率被定义为每次迭代中成本函数中最小化的量。也即下降到成本函数的最小值的速率是学习率，它是可变的。从梯度下降算法的角度来说，通过选择合适的学习率，可以使梯度下降法得到更好的性能。一般常用的学习率有0.00001，0.0001，0.001，0.003，0.01，0.03，0.1，0.3，1，3，102）学习率调整策略2.1 fixed固定策略，学习率始终是一个固定值。2.2 step 均匀分步策略，如果设置为step,则还需要设置一个st

卷积神经网络典型CNNLeNet：最早用于数字识别的CNNAlexNet：2012年ILSVRC比赛冠军，远超第二名的CNN，比LeNet更深，用多层小卷积叠加来替换单个的大卷积ZF Net：2013ILSVRC冠军GoogleNet：2014ILSVRC冠军VGGNet：2014ILSVRC比赛中算法模型，效果率低于GoogleNetResNet：2015ILSVRC冠军，结构修正以适应更深层次的CNN训练LeNet：最早用于数字识别的CNNLeNet-5C1层是一个卷积层6个特征

梯度下降梯度下降是常用的卷积神经网络模型参数求解方法，根据每次参数更新使用样本数量的多少，可以分为以下三类：批量梯度下降（batch gradient descent,BGD）；小批量梯度下降（mini-batch gradient descent,MBGD）；随机梯度下降（stochastic gradient descent,SGD）。求参数过程即最小化损失函数过程。比如有一个含有D个训练数据的数据集，损失函数如下：批量梯度下降（batch gradient descent,BGD）批量

数据增强（Data augmentation）增加训练数据，则能够提升算法的准确率，因为这样可以避免过拟合，而避免了过拟合你就可以增大你的网络结构了。当训练数据有限的时候，可以通过一些变换来从已有的训练数据集中生成一些新的数据，来扩大训练数据。数据增强的方法有：1）水平翻转（旋转）2）随机裁剪(crop采样)如原始图像大小为256256，随机裁剪出一些图像224224的图像。如下图，红色方框内为随机裁剪出的224*224的图片。 AlexNet 训练时，对左上、右上、左下、右下、中间做了5次裁

卷积神经网络过拟合卷积神经网络正则化和Dropout神经网络的学习能力受神经元数目以及神经网络层次的影响，神经元数目越大，神经网络层次越高，那么神经网络的学习能力越强，那么就有可能出现过拟合的问题；(通俗来讲：神经网络的空间表达能力变得更紧丰富了)Regularization：正则化，通过降低模型的复杂度，通过在cost函数上添加一个正则项的方式来降低overfitting，主要有L1和L2两种方式Dropout：通过随机删除神经网络中的神经元来解决overfitting问题，在每次迭代的时候，只

卷积神经卷积神经网络可视化理解保存了层级的网络结构不同层次有不同的形式(运算)与功能卷积神经网络优缺点优点共享卷积核(共享参数)，对高维数据的处理没有压力无需选择特征属性，只要训练好权重，即可得到特征值深层次的网络抽取图像信息比较丰富，表达效果好缺点需要调参，需要大量样本，训练迭代次数比较多，最好使用GPU训练物理含义不明确，从每层输出中很难看出含义来卷积神经网络-参数初始化在卷积神经网络中，可以看到神经元之间的连接是通过权重w以及偏置b实现的。在具体的神经网络之前，我们还

卷积神经网络-Pooling Layer在连续的卷积层中间存在的就是池化层，主要功能是：通过逐步减小表征的空间尺寸来减小参数量和网络中的计算；池化层在每个特征图上独立操作。使用池化层可以压缩数据和参数的量，减小过拟合。在池化层中，进行压缩减少特征数量的时候一般采用两种策略：Max Pooling：最大池化，一般采用该方式Average Pooling：平均池化类似传统神经网络中的结构，FC层中的神经元连接着之前层次的所有激活输出；换一句话来讲的话，就是两层之间所有神经元都有权重连接；通常情况

卷积神经网络-ReLU Layer将卷积层的输出结果做一次非线性的映射， 也就是做一次“激活”常用非线性映射函数Sigmoid(S形函数)Tanh(双曲正切,双S形函数)ReLULeaky ReLUELUMaxoutSigmoid激活函数优点：取值范围(0~1)、简单、容易理解缺点：容易饱和和终止梯度传递(“死神经元”)；sigmoid函数的输出没有0中心化。Tanh激活函数优点：取值范围(-1~1)、易理解、0中心化缺点：容易饱和和终止梯度传递(“死神经元”)。

人大脑识别图片过程人的大脑在识别图片的过程中，会由不同的皮质层处理不同方面的数据，比如：颜色、形状、光暗等，然后将不同皮质层的处理结果进行合并映射操作，得出最终的结果值，第一部分实质上是一个局部的观察结果，第二部分才是一个整体的结果合并人大脑识别图片过程-CONV Layer基于人脑的图片识别过程，我们可以认为图像的空间联系也是局部的像素联系比较紧密，而较远的像素相关性比较弱，所以每个神经元没有必要对全局图像进行感知，只要对局部进行感知，而在更高层次对局部的信息进行综合操作得出全局信息；即局部感知

神经网络和卷积神经网络层次结构数据处理训练算法优缺点正则化与Dropout典型的结构与训练方式神经网络之结构卷积神经网络(Convolutional Neural Networks，CNN)，CNN可以有效的降低反馈神经网络(传统神经网络)的复杂性，常见的CNN结构有LeNet-5、AlexNet、ZFNet、VGGNet、GoogleNet、ResNet等等，其中在LVSVRC2015冠军ResNet是AlexNet的20多倍，是VGGNet的8倍；从这些结构来讲CNN发展的一个方向就