机器学习部分:梯度下降法的三种形式BGD、SGD以及MBGD

本文介绍了机器学习中三种常见的梯度下降法:批量梯度下降(BGD)、随机梯度下降(SGD)和小批量梯度下降(MBGD)。BGD虽然能获得全局最优解,但速度慢;SGD训练速度快,但可能不收敛到全局最优;MBGD在速度和准确性之间找到平衡。每种方法都有其适用场景和优缺点。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在应用机器学习算法时,我们通常采用梯度下降法来对采用的算法进行训练。其实,常用的梯度下降法还具体包含有三种不同的形式,它们也各自有着不同的优缺点。

下面我们以线性回归算法来对三种梯度下降法进行比较。

一般线性回归函数的假设函数为:

hθ=∑nj=0θjxjhθ=∑j=0nθjxj

  对应的能量函数(损失函数)形式为:

Jtrain(θ)=1/(2m)∑mi=1(hθ(x(i))−y(i))2Jtrain(θ)=1/(2m)∑i=1m(hθ(x(i))−y(i))2

  下图为一个二维参数(θ0θ0和θ1θ1)组对应能量函数的可视化图:

 

1. 批量梯度下降法BGD

   批量梯度下降法(Batch Gradient Descent,简称BGD)是梯度下降法最原始的形式,它的具体思路是在更新每一参数时都使用所有的样本来进行更新,其数学形式如下:

  (1) 对上述的能量函数求偏导:

  (2) 由于是最小化风险函数,所以按照每个参数θθ的梯度负方向来更新每个θθ:

  具体的伪代码形式为:

  repeat{    

      

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值