blzhizhuang的博客

1 超参数调试处理1 选择超参数在神经网络中要调试的超参数有很多，包括学习因子，动态梯度下降因子,Adam算法参数，神经网络层数，隐藏层神经元个数，学习因子衰减参数，mini-batch参数等。一般来说学习因子是最重要的参数，动态梯度下降因子，各隐藏层神经元个数和mini-batch参数排在第二，然后是神经网络层数和学习因子衰减参数。要如何选择和调试超参数？这个问题在传统机器学习中，一般对每个参数等距离选择任意个数的点，然后分别使用不同的点对应的参数组合进行训练，根据验证集上的表现来决定最...

1Mini-batch梯度下降

1 训练集验证集和测试集在构建神经网络时，我们需要设置很多参数，但我们无法在构建之始就获得最佳的参数，为了获得这些参数，我们需要不断进行迭代更新：首先利用初始参数构建一个神经网络模型，然后通过代码实现这个神经网络，最终通过实验验证这些参数构成的神经网络的性能，根据结果对参数进行优化更新，然后进行下次循环，最终得到最优解通常我们会把整个样本数据集分成三部分，训练集，用来训练模型；验证集，用来验证不同算法的表现情况；测试集，用来作为算法的无偏估计。在数据量较少，如100，1000，10000时，可.