BVL的博客

在官方文档中，采用的是1000次迭代，每次随机选取100个数据集进行训练。 最后的精确值为91%左右。提高迭代次数到10000次，随机选取任是100个时，精确值为92%左右。可以理解，毕竟多次迭代。然而当迭代为10000次，每次1000个数据集时，精确度仅有9.8%，相当于等概率随机猜。正常来说应该会提高精确度，然而不是。原因是： 随机梯度最后不收敛导致的。 官方文档中采用交叉熵来计算los

今天在tensorflow下，用三层网络结构训练mnist上的数据时，精度出现了很大偏差，在此做个记录，原因如下： 1.w，b初始化为0，很可能直接导致模型失效，无法收敛。因此可以对w初始化为随机值解决 2.隐藏层的激活函数应该用relu较好 3.交叉熵的计算，是否取平均值问题，取平均值，就相当于除以一个常数，那么相对的cost值就较小，使得后续的学习率可以设的相对较大，也不影响精确。如果不