深度学习为什么使用梯度下降,而不使用牛顿法或拟牛顿法优化?

本文对比了梯度下降法、牛顿法及拟牛顿法在不同场景下的应用效果,包括时间复杂度、收敛速度、对初始值的要求及适用场景。梯度下降法适用于特征维度较大的场景,如神经网络训练;牛顿法和拟牛顿法则更适用于特征维度较小且满足一定条件的场景,如逻辑回归。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

梯度下降法 (SGD 为例)牛顿法拟牛顿法
时间复杂度 (单次迭代)只需计算 1 阶导,时间复杂度低,为 O(n)需计算 Hessian 矩阵及其逆,时间复杂度高,为 O(n3)用正定矩阵近似 Hessian 矩阵的逆,时间复杂度为 O(n2)
收敛速度收敛慢,迭代次数大收敛快,迭代次数小收敛快,迭代次数小
初始值要求无太强要求,容易逃离鞍点对初始值有一定要求,非凸问题容易陷入鞍点 (牛顿法步长会越来越小
应用场景特征维度较大的场景,如特征数 > 10k特征维度较小的场景需满足拟牛顿条件,更适合凸问题

在神经网络(非凸问题)的训练中,大多数都采用梯度下降法一族方法。而在训练逻辑回归(凸问题)等模型时,可采用梯度下降和拟牛顿方法。

参考 梯度下降法、牛顿法、拟牛顿法 三类迭代法应用场景有何差别?

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值