AlexYoung28的博客

为了督促自己学习，并且夯实学习的内容，接下来会记录自己学习的深度学习的每一重要知识及理论。 所参考的学习书籍： 《机器学习》 ——周志华 《Tensorflow深度学习算法原理与编程实战》 ——蒋子阳 两本书籍，第一本是我非常推崇的南大周志华教授所著，全书对机器学习理论进行了深入浅出的讲解，偏向理论介绍，需要较深厚的数学功底（可能...

1 模型结构 LeNet-5是一个专为手写数字识别而设计的最经典的卷积神经网络，由Yann LeCun教授于1998年提出。 第一层：INPUT层输入的是32*32分辨率的黑白图像； 第二层：C1层是一个卷积层，由6个特征图（Feature Map)组成，这个卷积层的卷积核尺寸为5*5，深度为6，没有使用全0填充且步长为1，所以得到的每个特征图...

1 模型介绍 VGGNet是2014年 ILSVRC 图像分类竞赛的第二名，其 top-5错误率为 7.3%， 拥有 140M的参数量。相比于该年的第一名 Google的 GoogleNet模型，该模型拥有更强的泛化性，能够适应多种场景应用。 2 模型结构 VGGNet对卷积神经网络的深度与其性能之间的关系进行了探索，网络结构非常简洁。在整个网络中全部使用了大小相同...

1 模型介绍 AlexNet包含 6 亿 3000万个左右的连接，参数的数量有6000万左右，神经元单元的数量有大概65万个。卷积层的数量有5个，池化层的数量有3个，全连层有3个，最后一个全连层的单元数量为 1000个，用于完成对ImageNet数据集中的图片完成1000分类。 2 模型结构 第一段卷积(conv1)中，AlexNet使用96个11*11卷积...

卷积运算具有3个重要特性：稀疏连接，参数共享和等变表示，卷积层通过这些特性来改善机器学习系统， 1 卷积运算的稀疏连接 在全连接神经网络中，参数矩阵的每一个参数全部并且仅仅描述了一个输入单元与一个输出单元间的交互关系。这样做当输入的数据增多时，参数的数量也会变得巨大。 卷积运算具有稀疏连接（Sparse Connectivity)的特性。这通过将...

1 MNSIT数据集 MNIST是一个非常简单的手写体数字识别数据集，由70000张 28*28像素的黑白图片组成。在进行神经网络模型的设计前，需要先获取这个数据集，Yann LeCun(深度学习的一个大牛）教授的网站 http://yann.lecun.com/exdb/mnist给出了数据集的下载。我们在该网站下载4个压缩包，其中 t10k 开头的压缩包是测试集，train开头的压...

一般神经网络的训练过程可分为两个阶段：第一阶段先通过前向传播算法计算得到预测值，并将预测值和真实值做对比，得出两者之间的距离；第二个阶段，通过反向传播算法计算损失函数对每一个参数的梯度，再根据梯度和学习率使用梯度下降算法更新每一个参数。 1. 基于梯度的优化 基于梯度的优化就是优化一个函数的最终取值，假设 x 是函数的输入参数，J(x) 是需要优化的函数，则基于梯度的优化就是...

1 网络前馈方式 前馈神经网络是前向的，即模型的输出与模型本身之间并不存在连接，也就不构成反馈。例如对于分类器功能MLP，假设其输入为 x ，输出满足 函数 y= f(x)，信息从输入的 x 经过定义的功能函数 f, 最终到达输出 y ，在这个过程中 f 以及 x 并没有因为 y 的取值而受到任何的影响。 函数 y = f(x) 可以被表示为多个函数复合形式，分别用一个...

1 计算图与张量 TensorFlow程序中的计算过程可以表示为一个计算图（Computation Graph, 也可称为有向图（Directed Graph))，其作用与外观都可类比为程序流程图。 张量是在边中流动的数据，其数据类型可以在编程时事先定义，也可根据计算图中的上下文来推断。 2 计算图——TensorFlow的计算模型 计算图的作用可以类比为程序...

1 循环神经网络简介 循环神经网络为了刻画一个序列当前的输出与之前信息的隐藏层之间存在连接，隐藏层的输入来自于输入层的数据以及上一时刻隐藏层的输出。这样的结构使得循环神经网络会对之前的信息有所记忆，同时利用之前的信息影响后面节点的输出，所以循环神经网络不需要分别学习句子每个位置的所有语言特征规则。 如图展示了循环神经网络的一种典型结构，相比之前的网络，循环神经网...