qq_53983845的博客

我们从预测房价这个例子开始。假设你有一个数据集，它是6个房子的数据，你知道房子面积以及对应的房价。我们想要用一个函数，根据房子面积预测房价。我们可以用一条直线来拟合数据，但你可能会说，价格不可能是负数，如果用单纯的直线来拟合数据，可能会出现负数的情况，所以我们可以把直线折一下，使其在这里归零。你可以把刚才根据房价拟合出来的函数当做一个很简单的神经网络。房子的大小x作为对神经网络的输入，通过神经元输出预测房价：一个单一神经元，是非常小的网络；

在这样的情况下，多个隐藏元将失去意义。如果你使用的是sigmoid或者是tanh函数，初始化参数w值过大，就有可能在一开始训练时落在激活函数很大的区域，导致激活函数接近饱和，梯度下降缓慢，减缓学习速度。Leaky Relu和Relu函数的优点是：对于大部分的z空间，激活函数的导数不会为0，神经网络的学习速度通常比tanh函数或者sigmoid函数快得多。有个激活函数几乎总比sigmoid函数表现更好，比如tanh函数（双曲正切函数），因为函数的输出介于-1和1之间，激活函数的平均值更接近与0。

我们从单一神经元的角度来看这个问题，比如对于画箭头的这个神经元，它的任务就是利用这些输入单元生成一个有意义的输出，而如果使用了Dropout，这些输入会被随机的丢弃，因此这就意味着，这个神经元不能依赖任何特征，因为每个输入特征都有可能被随机丢弃，我们不愿意把所有的赌注都放在一个输入神经元上，因此这个神经元给每个输入一个较小的权重。通过数据增强获得的图片所含有的信息量肯定是不如获得新的数据图片的，但这样做的代价成本很小，是一种廉价的方式来为你的算法获得更多数据，而且减少了过拟合。

另一方面，这个曲线会右移，因为你在一个更大的窗口内计算平均气温，这个指数加权平均在温度变化时，适应的更加缓慢，这就造成了一定的延迟，使得之前的值具有更大的权重，而当前值的权重非常小。当你使用适量的小样本进行Mini-batch梯度下降法时，也许一个批次只有64或128个样本，当你迭代时会有噪声，它会逐步向最小点靠近，但不会完全收敛到最小点，你的算法最后会在最小值点附近浮动，这是因为你的学习率取了固定值，不同的Mini-batch中有噪声。，这就是只对两天进行平均，如果画出来，就会得到黄色的线。