大彤小忆的博客

  深度学习是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。  深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。  深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领

1. 作业简介2. 工具包3. 数据集3.1 数据说明3.2 数据预处理4. Logistics介绍5. 创建算法5.1 算法的创建基本流程5.2 程序实现步骤6. 学习率优化7. 实现代码1. 作业简介  本次作业的内容是使用Logistic回归通过训练来判断一副图像是否为猫。  主要内容：如何利用Python的来实现Logistic函数。包括：初始化、计算代价函数和梯度、使用梯度下降算法进行优化等并把他们整合成为一个函数。2. 工具包  在这个过程中，我们将会用到如下库：numpy：Py.

  残差网络出自论文《Deep Residual Learning for Image Recognition》。  神经网络是否越深越好？  从经验来看，网络的深度对模型的性能至关重要，当增加网络层数后，网络可以进行更加复杂的特征模式的提取，所以当模型更深时理论上可以取得更好的结果。但是，网络深度越深其效果就越好吗？其实不然，经大量实践表明，神经网络随着层数的增加可能会出现两个问题：gradient vanishing/exploding problem（梯度爆炸/消失问题） 和 degradatio

    VGG模型是2014年ILSVRC竞赛的第二名，第一名是GoogLeNet。但是VGG模型在多个迁移学习任务中的表现要优于googLeNet。而且，从图像中提取CNN特征，VGG模型是首选算法。它的缺点在于，参数量有140M之多，需要更大的存储空间，但是这个模型很有研究价值。  模型的名称——“VGG”代表了牛津大学的Oxford Visual Geometry Group，该小组隶属于1985年成立的Robotics Research Group，该Group研究范围包括了机器学习到移动机器人

  Faster R-CNN算法是作者Ross Girshick对Fast R-CNN算法的一种改进。Fast R-CNN在速度和精度上都有了不错的结果，但仍有一些不足之处。Faster R-CNN算法同样使用VGG-16网络结构，检测速度在GPU上达到5fps(包括候选区域的生成)，准确率也有进一步的提升。在ILSVRC和COCO 2015竞赛中获得多个项目的第一名。在Faster R-CNN中提出了区域生成网络(Region Proposal Network,RPN)，将候选区域的提取和Fast R-C

  Fast R-CNN算法是作者Ross Girshick继R-CNN后的又一力作。R-CNN虽然取得了不错的成绩，但是其缺点也很明显。Fast R-CNN同样使用VGG-16网络结构，与R-CNN相比训练时间快9倍，测试时间快213倍，准确率从62%提升至66%(再Pascal voc数据集上)。Fast R-CNN主要是解决R-CNN存在的问题：测试训练速度慢，主要是提取候选区域的特征慢：R-CNN首先从测试图中提取2000个候选区域，然后将这2000个候选区域分别输入到预训练好的CNN中提取特征

  R-CNN算法可以说是利用深度学习进行目标检测的开山之作。2012年AlexNet网络在ImageNet LSVRC中效果显著，因此R-CNN的作者想要尝试将AlexNet在图像分类上的能力迁移到PASCAL VOC的目标检测上。这就要解决两个问题：如何利用卷积网络去目标定位；如何在小规模的数据集上训练出较好的网络模型。  对于利用卷积网络去目标定位的问题，R-CNN利用候选区域(Region Proposal)的方法，这也是该网络被称为R-CNN的原因：Regions with CNN fe