最小二乘法和梯度下降法的区别_最小二乘法和梯度下降法的优缺点-优快云博客

本文链接：https://blog.youkuaiyun.com/k316378085/article/details/146282404

最小二乘法和梯度下降法的区别

在这里插入图片描述

维度	最小二乘法	梯度下降法
本质	优化方法：通过直接求解目标函数的极值（如误差平方和最小化）来得到最优参数。	迭代优化算法：通过迭代更新参数，逐步逼近目标函数的极值（最小或最大）。
目标函数	以均方误差（MSE）为目标，求解参数的闭式解（解析解）。	以任意可微的目标函数（如MSE）为目标，通过梯度方向迭代更新参数。
结果	直接得到全局最优解（在凸问题中）。	可能收敛到局部最优解（非凸问题时），但凸问题下可保证全局最优。