学习随笔

1.反向传播算法2.过拟合问题的解决

参考资料：https://www.cnblogs.com/skyfsm/p/6806246.htmlhttps://www.cnblogs.com/chaofn/p/9310912.htmlR-CNN先利用一些非深度学习的类别无关的无监督方法，在图像中找到一些可能包含目标的候选区域。之后，对每个候选区域前馈网络，进行目标定位，即两分支(分类+回归)输出。其中，我们仍然需要回归分支的原因是...

InceptionV1GoogLeNet是一个22层的CNN，它以6.7%的错误率赢得了2014年度ILSVRC的冠军。这是第一个跟传统方法，也就是卷积层与池化层简单叠加以形成序列结构的方法不同的一种CNN的新架构。按传统方法来增加模型深度，存在一些缺陷：1.网络模型产生巨大参数，容易导致过拟合。2.网络规模扩大会极大增加计算量，消耗更多计算机的资源。InceptionV2...

这是 Kaggle 上的一个学习项目，任务是识别航拍图像中是否有柱状仙人掌。数据下载：https://www.kaggle.com/c/aerial-cactus-identification/dataKaggle 提供了 17500 张图片，其中 4000 张未标注的作为测试集。如果你的模型能够正确标注 4000 张图片，就会得满分 1 或者 100%。1.运行环境win1...

1.TensorFlow提供了完成迁移学习所需要的数据集。该数据集可以在http://download.tensorflow.org/example_images/flower_photos.tgz下载。每个子文件夹都存储了一种类别的花的图片，子文件夹的名称就是花的类别的名称。平均每一种花有734张图片，图片都是RGB色彩模式的。这些图片的大小不一，inception V3模型能够容忍...

相关介绍VGGNet是牛津大学计算机视觉组（Visual Geometry Group）和Google DeepMind公司的研究员一起研发的的深度卷积神经网络。他们研究了卷积网络深度在大规模的图像识别环境下对准确性的影响。他们的主要贡献是使用非常小的（3×3）卷积滤波器架构对网络深度的增加进行了全面评估，这表明通过将深度推到16-19加权层可以实现对现有技术配置的显著改进。这些发现是他们...

背景2012年，Hinton的学生Alex Krizhevsky借助深度学习相关理论提出了深度卷积网络模型AlexNet.在2012年ILSVRC竞赛中取得top-5错误率为15.3%，并取得大赛第一名。和LeNet-5模型相比，AlexNet算是它的一个宽泛的版本。AlexNet的结构如上图所示，共包含了8个学习层——5个卷积层与3个全连接层，相比于之前的LeNet-5网络...

我们已经初步了解了卷积神经网络。在本章，我们将介绍LeNet-5,AlexNet,VGGNet,InceptionNet-v3和ResNet五个经 典卷积神经网络,通过对着五个网络结构的学习以及搭建来加深卷积神经网络的的了解。LeNet-5模型背景Lenet-5：由Yann LeCun教授于1998年在其论文《Gradient-Based Learning to Applie...

对图像进行增强处理的函数input，相关操作包括：随机裁剪、随机翻转、随机调整对比度、随机调整亮度以及标准化和归一化操作，目的在于能够产生更多训练样本。在大部分图像识别问题中，通过图像数据预处理可以尽量避免模型受到无关因素的影响或者达到数据增强的目的，从而提高模型的准确率，TensorFlow提供了几类简单的图像处理函数。本节会用到一张分辨率为895x560的.png格式的图像。所有的代码为了...

一、卷积神经网络的一般框架卷积神经网络主要包含5个结构：输入层、卷积层、池化层、全连层、softmax层 输入层：整个神经网络的输入，在图像分类问题中，一般是一张图片的像素矩阵。一般按照batch进行输入，因此是四维数据。 卷积层：该例中有两个卷积层，由卷积核提取图像特征，输出特征图，扫描窗口的大小就是卷积核的大小，输出结果的通道数是卷积核的数量，提取的特征数量越多，输出矩阵就...

二、RGB图片的卷积操作¶1、RGB图像的立方体卷积对于一个6∗6∗36∗6∗3的彩色图片，有三个通道，filter需要对应扫描每一个通道，所以图片有几个通道，filter就要有几个通道。把一个filter视为一个立方体去扫描RGB图片，立方体对应位置的数值像矩阵一样做乘法，得到对应位置的一个值，扫描整张图片，得到4∗44∗4的2、多个卷积操作

一、 卷积1. why convolution?1).计算机视觉问题分类问题：物体识别：新型艺术：2).对大量数据的深度学习* 黑白图片与彩色图片 RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力...

preface：整体框架介绍7.1 节：介绍了相关但是不太重要的内容7.1.1 图像识别的经典数据集；ILSVRC计算机视觉比赛 7.1.2 卷积网络的神经科学基础 7.1.3 卷积神经网络的历史==7.2节：卷积==7.2.1 卷积运算 卷积（相较于全连接网络）的特点 7.2.2 稀疏连接 7.2.3 参数共享 7.2.4 平移变换 7.2.5 多层卷积核 ...

mnist数据集MNIST是一个入门级的计算机视觉数据集，它包含各种手写数字图片：它也包含每一张图片对应的标签，告诉我们这个是数字几。比如，上面这四张图片的标签分别是5，0，4，1。 在本章中，我们将训练一个机器学习模型用于预测图片里面的数字。from tensorflow.examples.tutorials.mnist import input_data read_data_set...

1、ReLU层数学表达式：y关于x的导数：由导数可知， 如果前向传播时的输入x大于0，则反向传播会将上游的值原封不动地传递给下游（乘以1） 如果前向传播时的输入x小于等于0，则反向传播传递给下游的信号将停在此处（乘以0）#python实现class Relu: def __init__(self): self.mask = None d...

过拟合和欠拟合欠拟合（Underfitting）是指模型不能够在训练集上获得足够低的误差。过拟合（Overfitting）是指训练误差和测试误差太大。（训练集上得到的误差较小，实际测试时并不能很好的拟合）泛化误差（或称测试误差）是指模型在未知的新输入数据上运行所得到的误差。正则化（Regularization）正则化是为了避免过拟合问题而常常采用的方法，其思想就是...

本节在上节的基础上给出TensorFlow提供的可以直接调用的几种常用的优化器。Ⅰ.tf.train.Optimizer 优化器（optimizers）类的基类。基本上不会直接使用这个类，但是会用到他的子类比如GradientDescentOptimizer, AdagradOptimizer,等等这些。Ⅱ. tf.train.GradientDescentOptimizer 这个类是实现...

自适应学习率算法在使用基本的梯度下降算法时，会遇到一个常见的问题—-要优化的各个参数对于目标函数的依赖各不相同。 比较合理的做法是：对每个参与训练的参数设置不同的学习率，在整个学习的过程中通过一些算法自动适应这些参数的学习率。1.AdaGrad(Adaptive Gradient)AdaGrad的基本思想是对每个变量用不同的学习率，这个学习率在一开始比较大，用于快速梯度下降。随着优化过...

TensorFlow中的计算过程可以表示为一个计算图，计算图中的每一个运算操作可以视为一个节点。（P87-3.1、3.2）假设有如下问题： 一个苹果100块钱，一个橘子150块钱 消费税为10% 买了2个苹果，3个橘子，一共需要支付多少钱？根据需要构建计算图局部计算上图中，我们对于苹果和橘子的计算是分开的，然后合并。这里的局部也就是在计算过程中只将与自己相关的信息进行计算...

一般神经网络的训练过程可分为两个阶段：一、通过前向传播算法计算得到预测值，将预测值和真实值作对比，得出两者之间的差距（损失函数）。二、通过反向传播算法计算损失函数对每一个参数的梯度，再根据梯度和学习率使用梯度下降算法更新每一个参数。应用了反向传播算法的前馈神经网络依旧是前馈的，反向传播不是区分前馈与反馈的标准。前馈神经网络：每一层包含若干个神经元，同一层的神经元之间没有互相连...