每天起床第一句要给自己打个气

原文链接: http://chenhao.space/post/ef3b1e7d.html深度学习模型的参数分为普通参数和超参数：普通参数：在模型训练的过程中可以被梯度下降所更新的，也就是训练集所更新的参数。超参数：比如网络层数、网络节点数、迭代次数、学习率等等，这些参数不在梯度下降的更新范围内。超参数的设置一般是人工根据验证集来调。训练集的作用就是通过梯度下降来调整模型的内部普通参数。...

原文链接: http://chenhao.space/post/f4e09fe1.html卷积神经网络整体结构在MLP中，相邻层的所有神经元之间都有连接，这称为全连接（fully-connected）。另外，我们用Affine层实现了全连接层。如果使用这个Affine层，一个5层的全连接的神经网络就可以通过图1所示的网络结 构来实现。如图1所示，全连接的神经网络中， Affine层后面跟着...

原文链接引入什么是激活函数        所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。        神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值...

原文链接: http://chenhao.space/post/e03223e1.html#sgd引言        神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化（optimization）。遗憾的是，神经网络的最优化问题非常难。这是因为参数空间非常复杂，无法轻易找到最优解（无法使用那种通过...