qq_42148307的博客

MNIST数据集MNIST是手写数据图片数据集，包含0~9十种数字，每种数字7000张图片，6000作为训练集，1000作为测试集，一共是70000张数字图片。每张图片是28*28的矩阵，每个矩阵元素有一个值，处于[0~255]之间，0代表白色，255代表黑色，代表灰色的深浅程度。下面就是加载MNIST数据集和数据的初始化过程：有以下三个问题需要关注：为什么需要数据的归一化？数值差异问题。如果一个变量远远大于另一个变量，那么这个变量的变化可能引起函数值的变化远远大于另一个变量

假设模型与采样假设模型：然后在该模型中直接采样：误差计算计算预测值与真实值之间的误差：梯度计算对误差求和的偏导：梯度更新这里主要采用梯度下降算法来更新：使误差最小。函数在各处的梯度方向、是指向函数值增大的方向，那么梯度的反方向和应指向函数减少的方向。所以现在需要减小利用这一性质，我们只需要按照：是一个超参数，是人为设定的。因为当我们接近局部最低时，导数值会自动变得越来越小，所以梯度下降将自动采取较小的幅度，这就是梯度下降的做法。..

10.11卷积层变种10.11.1空洞卷积普通的卷积层为了减少网络的参数量，卷积核的设计通常选择较小的 1×1 和3 × 3感受野大小。小卷积核使得网络提取特征时的感受野区域有限，但是增大感受野的区域又会增加网络的参数量和计算代价。空洞卷积在普通卷积的感受野上增加一个 Dilation Rate 参数，用于控制感受野区域的采样步长，尽管 Dilation Rate 的增大会使得感受野区域增大，但是实际参与运算的点数仍然保持不变。空洞卷积要精心设计 Dilation Rate 参数来避免出现网格效

10.5表示学习图片数据的识别过程一般认为也是表示学习(Representation Learning)的过程，从接受到的原始像素特征开始，逐渐提取边缘、角点等底层特征，再到纹理等中层特征，再到头部、物体部件等高层特征，最后的网络层基于这些学习到的抽象特征表示(Representation)做分类逻辑的学习。应用表示学习的思想，训练好的卷积神经网络往往能够学习到较好的特征，这种特征的提取方法一般是通用的。比如在猫、狗任务上学习到头、脚、身躯等特征的表示，在其它动物上也能够一定程度上使用。基于这种思想，可

10、卷积神经网络10.1全连接层的问题那么 34 万个网络参数至少需要约 1.34MB 内存。也就是说，单就存储网络的参数就需要 1.34MB 内存，实际上，网络的训练过程中还需要缓存计算图模型、梯度信息、输入和中间计算结果等，其中梯度相关运算占用资源非常多。可见，全连接层较高的内存占用量严重限制了神经网络朝着更大规模、更深层数方向的发展。10.1.1局部相关性可以看出，网络层的每个输出节点都与所有的输入节点相连接，用于提取所有输入节点的特征信息，这种稠密的连接方式是全连接层参数量大、计算代价

9、过拟合

6、Keras高层接口

5、反向传播算法5.1激活函数导数5.1.1Sigmoid 函数导数Sigmoid 函数的导数表达式：5.1.2ReLU 函数导数5.1.3LeakyReLU 函数导数5.1.4Tanh 函数梯度5.2损失函数梯度5.2.1均方误差函数梯度5.2.2交叉熵函数梯度Softmax 梯度 回顾 Softmax 函数的表达式：交叉熵梯度 考虑交叉熵损失函数的表达式：特别地，对于分类问题中标签????通过 One-hot 编码的方式，则有如下关系：5.3

4、神经网络4.1全连接层4.1.1层方式实现TensorFlow 中有更高层、使用更方便的层实现方式：layers.Dense(units, activation)。通过 layer.Dense 类，只需要指定输出节点数 Units 和激活函数类型 activation 即可。需要注意的是，输入节点数会根据第一次运算时的输入 shape 确定，同时根据输入、输出节点数自动创建并初始化权值张量????和偏置张量b。我们可以通过类内部的成员名 kernel 和 bias 来获取权值张量????和偏置

3、TensorFlow进阶3.1合并与分割3.1.1合并[10,35,8]，其中，10 代表 10 个班级，35 代表 35 个学生，8 代表 8 门科目。拼接 在 TensorFlow 中，可以通过 tf.concat(tensors, axis)函数拼接张量，其中参数tensors 保存了所有需要合并的张量 List，axis 参数指定需要合并的维度索引。们在班级维度上合并成绩册，这里班级维度索引号为 0，即 axis=0。从语法上来说，拼接合并操作可以在任意的维度上进行，唯一的约束是非

2、TensorFlow基础TensorFlow 是一个面向深度学习算法的科学计算库，内部数据保存在张量(Tensor)对象上，所有的运算操作(Operation，简称 OP)也都是基于张量对象进行的。2.1数据类型首先来介绍 TensorFlow 中的基本数据类型，包含数值类型、字符串类型和布尔类型。2.1.1数值类型标量(Scalar)。单个的实数，如 1.2, 3.4 等，维度(Dimension)数为 0，shape 为[]。向量(Vector)。????个实数的有序集合，通过中括号包裹