进阶的码农小白

1. 激活函数Rectified Linear Unit(ReLU) - 用于隐层神经元输出Sigmoid - 用于隐层神经元输出Softmax - 用于多分类神经网络输出Linear - 用于回归神经网络输出（或二分类问题）    ReLU函数计算如下：                               Sigmoid函数计算如下：                           ...

转自：https://nmarkou.blogspot.com.cy/2017/02/the-black-magic-of-deep-learning-tips.html记得要 shuffle。不要让你的网络通过完全相同的 minibatch，如果框架允许，在每个 epoch 都 shuffle 一次。扩展数据集。DNN 需要大量的数据，而且模型在小的数据集上很容易过拟合。我强烈建议你要扩展原始的...