xxiaozr的博客

 https://blog.youkuaiyun.com/u014380165/article/details/77284921点击打开链接

原文地址：http://blog.youkuaiyun.com/hjimce/article/details/50866313随机梯度下降训练深度网络简单高效，但是有一个毛病，需要人为的选择参数，比如学习率，参数初始化，权重衰减系数，Drop out 比例等，这些参数的选择对训练结果至关重要BN算法可以克服这些困难，它的作用如下：可以选择比较大的学习率，BN有快速训练收敛的特性可以移出 drop out 和 ...

通常使用梯度下降的方法优化目标函数，梯度下降需要逐步的更新网络的权重和偏置，最终使网络的误差最小而更新网络的权重和偏置，需要计算目标函数 C 关于权重或者偏置的偏导数，即和反向传播算法就是为了计算这些偏导数的一些参数的的定义：使用 a 来表示神经元的激活值， b 表示偏置第 l 层第 j 个神经元的激活值为：，求和是在 l-1 层上所有的 k 个神经元上进行的。写成矩阵的形式就是：，这个表达方式更...

模型训练的目的是找到一组 w 和 b ，使得网络的输出拟合目标输出定义一个代价函数，例如均方误差，训练目的转化为最小化代价函数，使用梯度下降算法来解决最小化问题梯度下降算法工作的方式就是重复的计算梯度，然后沿着相反的方向移动假设最小化函数 C（v），v=v1,v2这个函数的图像如下所示：当我们在 v1 和 v2 方向上分别将球体移动一个很小的量，即  △v1 △v2 时，C 的变化 △C 如下： ...

如果对权重和偏置的微小改动，可以引起输出的微小改动，我们可以基于此来优化网络，但是有时单个感知机上的一个权重或者偏置的修改，会引起感知机输出完全翻转，我们引入激活函数来克服这个困难。S型神经元激活函数权重和偏置的微小修改只引起输出的微小变化，定义如下：一个具有输入x，权重w，偏置 b 的 S型神经元的输出是：函数的形状如下：tanh激活函数：sigmod 函数和 tanh 函数的关系是：tanh ...

多通道输入的卷积过程： https://arxiv.org/pdf/1603.07285.pdf http://www.uoguelph.ca/~gwtaylor/publications/zeilertaylorfergus_iccv2011.pdf Convolution arithmetic tutorial

机器学习的问题就是在规则化参数的同时最小化误差，最小化误差是为了让我们的模型拟合训练数据，而规则化参数是防止我们的模型过分拟合训练数据L1范数（稀疏规则算子，向量中各元素的绝对值的和）：可以实现稀疏为什么要实现稀疏？一般来说Xi的大部分元素（也就是特征）和Yi(最终输出)没有关系或者不提供任何信息，在训练时考虑这些会获得更小的训练误差但是在预测时考虑了这些没用的信息，干扰了正确的预测。稀疏规则化就...

nn.L1Loss()loss(x,y) = 1/n ∑ |xi - yi| n是元素的总个数 shape: input: (N,) 是任何额外的维度 target: (N,*) same as input output: scalar ，标量nnMSELoss()loss(x,y) =1/n ∑（xi-yi）² shape: input: (N,*) targ

查准率：Precision 查准率就是在预测中的正例中为正例的比重Precision=TP/(TP+FP)查全率：Recall查全率是所有的正例有被检测出来的比例Recall=TP/(TP+FN)简单理解：Precision就是检索出的条目有多少是准确的，Recall就是所有正确的条目有多少检测出来了，一般来说两者是互相影响的，准确率高，召回率就低，准确率低，召回率就高...

防止过拟合的方法都有哪些？1）正则化 2）drop out  3)增加数据  4）提前停止训练 5）Batch Normalizationdropout为什么可以防止过拟合？dropout是指在模型训练的过程中，将神经元按一定的概率进行从网络中丢弃，即置零，对于梯度随机下降来说，因为是随机丢弃，所以是每一个mini-batch都在训练不同的网络。所以可以看成是一个ensemble的过程...