机器学习(7)--梯度下降法（GradientDescent）的简单实现

雨落那秋林

于 2018-02-06 20:50:28 发布

阅读量1.8k

点赞数

分类专栏： python 机器学习文章标签： python 机器学习梯度下降 GradientDescent 学习率

本文链接：https://blog.youkuaiyun.com/carmelcarmen/article/details/79274424

版权

本文介绍了梯度下降法在机器学习中的应用，特别是在神经网络中的学习率选择。通过实验得出结论，随着神经元数量增加，学习率应降低，训练步数需增多。文章以一元线性方程为例，展示了梯度下降法的简单实现，该方法同样适用于多元情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

曾经在机器学习(1)--神经网络初探详细介绍了神经网络基本的算法，在该文中有一句

weights[i] += 0.2 * layer.T.dot(delta)  #0.2学习效率，应该是一个小于0.5的数，

同时在 tensorflow实例(2)--机器学习初试篇文章中用tensorflow实现上述的神经网络算法，该文中也有一句

train=tf.train.GradientDescentOptimizer(0.25).minimize(loss) #梯度下降优化器，0.25学习效率，应该是一个小于0.5的数， 
这两句里都有一个学习率的参数，

当神经元越多时，我们的学习率应该越小，同时学习次数应该增加

在这三个案例中，都使用到了学习率，同时在第三例中的结论并不完全，