鱼之天空的博客

https://www.cnblogs.com/silence-cho/p/11620863.html在LeNet-5的图中400 * 120 是说有120个5 * 5 * 16的卷积核。

转载链接：https://blog.youkuaiyun.com/qq_24690701/article/details/81868048

前面我们介绍了在给出样本及其的标签的情况下，神经网络如何学习的算法，这类算 法需要学习的是在给定样本????下的条件概率????(????|????)。在社交网络蓬勃发展的今天，获取海量 的样本数据????，如照片、语音、文本等，是相对容易的，但困难的是获取这些数据所对应 的标签信息，例如机器翻译，除了收集源语言的对话文本外，还需要待翻译的目标语言文 本数据。数据的标注工作目前主要还是依赖人的先验知识(Prior Knowledge)来完成，如亚马 逊的Mechanical Turk系统专门负责数据标注业务

我们把梯度值接近于0的现象叫做梯度弥散(Gradient Vanishing)，把梯度值远大于1的 现象叫做梯度爆炸(Gradient Exploding)。梯度弥散和梯度爆炸是神经网络优化过程中间比 较容易出现的两种情况，也是不利于网络训练的。????′=????−????∇????L当出现梯度弥散时，∇????L ≈ 0，此时????′ ≈ ????，也就是说每次梯度更新后参数基本保持不变， 神经网络的参数长时间得不到更新，具体表现为L几乎保持不变，其它评测指标，如准确 度，也保持不变。当出现梯

由于真实数据的分布往往是未知而且复杂的，无法推断出其分布函数的类型和相关参 数，因此人们在选择学习模型的容量时，往往会根据经验值选择稍大的模型容量。但模型 的容量过大时，有可能出现在训练集上表现较好，但是测试集上表现较差的现象。当模型的容量过大时，网络模型除了学习到训练集数据的模态之外，还把额外的观测 误差也学习进来，导致学习的模型在训练集上面表现较好，但是在未见的样本上表现不 佳，也就是模型泛化能力偏弱，我们把这种现象叫作过拟合(Overfitting)。当模型的容量过 小时，模型不能够很好地学习到训

导数与梯度不知道的同学可以再回去看看数学，其实数学还是很有用的。在高中阶段，我们就接触到导数(Derivative)的概念，它被定义为自变量????产生一个微小 扰动∆????后，函数输出值的增量∆????与自变量增量∆????的比值在∆????趋于0时的极限????。导数本身没有方向，偏导数本身也没有方向。考虑本质上为多元函数的神经网络模型，比如shape为[784, 256]的权值矩阵????，它包 含了784 × 256个连接权值????，我们需要求出784 × 256个偏导数。需要注

加载数据dataset_path = keras.utils.get_file("auto-mpg.data","http://archive.ics.uci.edu/ml/machine-learning-databases/auto-mpg/auto-mpg.data")命名数据表名称column_names = ['MPG','Cylinders','Displacement','Horsepower','Weight','Acceleration', 'Model Year'.

1. 均方误差计算均方差(Mean Squared Error，简称MSE)误差函数把输出向量和真实向量映射到笛卡尔 坐标系的两个点上，通过计算这两个点之间的欧式距离(准确地说是欧式距离的平方)来衡 量两个向量之间的差距。MSE(y, o) = \tfrac{1}{d_{out}}\sum _{I = 1}^{d_{out}}(y_{I} - o_{i})^2均方差误差函数广泛应用在回归问题中，实际上，分类问题中也可以应用均方差误差 函数。在TensorFlow中，可以通过函数方式或层...

前向传播的最后一步就是完成误差的计算L = g(f_{\theta} (x), y)代表了利用????参数化的神经网络模型，????(∙)称之为误差函数，用来描述当前网络的预测值???? (????)与真实标签????之间的差距度量，比如常用的均方差误差函数。L称为网络的误差????(Error，或损失Loss)，一般为标量。我们希望通过在训练集????train上面学习到一组参数????使 得训练的误差L最小:从另一个角度来理解神经网络，它完成的是特征的维度变换的功能，比如4层的MNI

为了区分需要计算梯度信息的张量与不需要计算梯度信息的张量，TensorFlow增加了 一种专门的数据类型来支持梯度信息的记录:tf.Variable。tf.Variable类型在普通的张量类 型基础上添加了name，trainable等属性来支持计算图的构建。由于梯度运算会消耗大量的 计算资源，而且会自动更新相关参数，对于不需要的优化的张量，如神经网络的输入????， 不需要通过tf.Variable封装;相反，对于需要计算梯度并优化的张量，如神经网络层的????和????，需要通过tf.Variable包

上面讲到了我们通过采样多个数据样本及，然后找到一条最好的直线，使其尽可能地让所有采集点到该直线到误差之和最小。但是由于观测误差的存在，当我们采集多个数据点时，可能不存在一条直线完美的穿过所有采样点。退而求其次，我们希望能找到一条比较“好”的位于采样点中间的直线。那么怎么衡量“好”与“不好”呢?一个很自然的想法就是，求出当前模型的 所有采样点上的预测值????????(????)+ ????与真实值????(????)之间的差的平方和作为总误差L:latex公式的写法L = \frac{1}

有监督学习 有监督学习的数据集包含了样本????与样本的标签????，算法模型需要学习到映射关系???? : ???? → ????，其中????代表模型函数，????为模型的参数。在训练时，通过计算模型的预测值???? (????)与真实标签????之间的误差来优化网络参数????，使得网络下一次能够预测更精准。常见的有监督学习有线性回归、逻辑回归、支持向量机、随机森林等。无监督学习 收集带标签的数据往往代价较为昂贵，对于只有样本????的数据集，算法需要自行发现数据的模态，这种方式叫作无监督学习。无

链接一：https://blog.youkuaiyun.com/dcrmg/article/details/81231044链接二：https://blog.youkuaiyun.com/Hi_maxin/article/details/84979580

以RGB图像为例。一个12*12的像素图，对其进行5*5的卷积，最后得到一个8*8的像素图。RGB图像有3个通道（12*12*3），所以卷积核也要有3个通道（5*5*3），对像素图进行卷积后得到的结果是8*8*1而不是8*8*3的图像。最后像素图的深度（输出图像的信道数）取决于卷积核的个数。如果要得到8*8*256的结果，应该这样做：用256个5*5*3的卷积核来卷12*12*3的...

Mac OS 遇到 OMP: Error #15: Initializing libiomp5.dylib, but found libiomp5.dylib already initialized.最近在做图像对抗用到foolbox, tensorflow, keras 等机器学习模块。在jupyter notebook中运行的时候一运行服务器就挂掉重启。没有任何错误提示。果断放弃no...

加快学习的一个办法就是学习率衰减。假设你要使用mini-batch梯度下降法，mini-batch数量不大，大概64或者128个样本， 在迭代过程中会有噪音，下降朝向这里的最小值，但是不会精确地收敛，所以你的算法最后在附近摆动，并不会真正收敛，因为你用的学习率是固定值，不同的mini-batch中有噪音。但要慢慢减少学习率的话，在初期的时候，学习率还较大，你的学...