ldp1653的博客

批量归一化会使你的参数搜索问题变得很容易，使神经网络对超参数的选择更加稳定，超参数的范围会更加庞大，工作效果也很好，也会让你的训练更加容易，甚至是深层网络。回归，能让你在试图识别某一分类时做出预测，或者说是多种分类中的一个，不只是识别两个分类，根据函数的值域来选择超参数的取值，有的时候均匀取值并不是最优解，有时需要结合对数来对超参取值，这样才能使搜索资源平均分配。BN算法在深度学习框架里已经实现，可能就是一行代码。期待某一个模型能ok就行，也叫鱼子酱模式。只训练一个模型，也叫熊猫模型。

minibatchsize是一个超参数，不知道咋选的时候就在下面几个里头实验。(削减前往最小值的路径上的震荡)每天得到的theta值=β*(前一天的theta)+(1-β)*当天的Vtheta的值，深度学习在大数据领域应用广泛，但是海量数据的训练又涉及速度问题，所以选择算法就尤其重要。用途:降低梯度下降和小批量梯度下降中的震荡，并允许你使用更大的α，从而提高算法学习速度。后期β的影响几乎被消除，所以使用之前的指数加权平均公式即可。天的总和，必须占用更多的内存，执行更加复杂。准的梯度下降算法，简而言之，

偏差:训练集可以看出算法是否拟合训练数据，总结出是否有偏差。方差:当完成训练集训练，开始使用验证集验证时，我们可以判断方差是否过高，从训练集到验证集的这个过程中，我们可以判断方差是否过高。(Devset和trainset之间的差)1.3机器学习的基本配方1.先看有没有高偏差--看trainset表现有的话就换更大的网络(更多隐藏层更多隐藏单元)或者别的算法或者训练时间更长2.看看有无方差问题有的话引入更多数据或者正则（可以减少过拟合问题）3.Done。