
梯度优化
碑 一
这个作者很懒,什么都没留下…
展开
-
动量更新
# Momentum updatev = mu * v - learning_rate * dx # integrate velocityx += v # integrate positionmu一般选0.9利用动量更新方法,参数向量就可以沿着和梯度方向积累速度。...原创 2019-12-21 11:14:47 · 427 阅读 · 0 评论 -
BGD,SGD,MBGD
文章目录批量梯度下降BGD随机梯度下降SGD小批量梯度下降MBGD一般线性回归函数的假设函数为:批量梯度下降BGD对所有的参数求均方误差损失函数:随机梯度下降SGD#更新单个参数,对单个参数求均方误差小批量梯度下降MBGD顾名思义。...原创 2019-12-16 21:13:08 · 414 阅读 · 0 评论