机器学习

UFLDL new version:随机梯度下降优化方法LBFGS等批量优化方法每次对参数更新需要计算所有的数据，通常也能够收敛到较好的局部最优值，但由于计算代价太大，且不利于新数据的在线学习，诞生了每次更新只采用部分数据的随机梯度下降算法（SGD）。理论 标准梯度下降算法公式 θ=θ−α∇θE[J(θ)] \theta = \theta - \alpha {\nabla _\theta