回归分析——基于梯度下降法的多项式回归分析

目录

概述

回归分析

噪声

最小二乘法

原理

本质

梯度下降算法

梯度

梯度下降算法

学习率

多项式拟合

多项式拟合

两篇关于梯度下降法和多项式拟合法的文章

一些问题

多项式拟合法回归可以直接进行还要梯度下降法干嘛？

使用了梯度下降法的多项式回归分析相对于一般的多项式回归分析有什么优点？

是不是说可以用不同的数学模型进行回归分析而多项式只是其中一种方法？

总结

---

概述

回归分析

一种常见的统计方法，用于研究变量之间的关系，帮助我们理解变量之间的因果关系，预测未来的趋势，并进行决策和规划；通常有五个步骤：1.确定研究目标和变量；2.收集数据；3.建立回归模型；4.分析回归结果；5.进行预测和解释。

噪声

在统计学中，噪声是指在数据中存在的不规则、随机的变化

最小二乘法

又称最小平方法，一种数学优化技术，通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使这些求得的数据与实际数据之间误差的平方和为最小。
最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

原理

最小二乘法的名称来源于其最小化残差平方和（Residual Sum of Squares，RSS）的特性。在最小二法中，我们将模型预测值与真实观测值之间的差异，即残差，进行平方处理。通过将残差平方和最小化，即找到使得预测值与真实值之间误差最小的参数值。由于残差平方和是用误差的平方和衡量模型的拟合效果，因此称之为“二乘法”。最小二乘法的目标是找到最佳的模型参数，使得模型的预测值与真实观测值之间的平方差总和最小化。通过最小化残差平方和，可以获得对数据的最佳拟合。

本质

如果在回归分析中损失函数不是 RSS，则不再是最小二乘法. 最小二乘法的本质是寻找使残差平方和最小的模型参数，即最小化 RSS，因此只有在采用 RSS 作为损失函数进行优化时才能被称为最小二乘法。在回归分析中，常用的损失函数除了 RSS外，还有平均绝对误差 (Mean Absolute Error，MAE)，平均标准误差 (Mean Squared Error，MSE)，Huber 等不同的损失函数。这些替代损失函数将平方误差进行了改变，但本质上仍是求解最佳模型参数的优化问题。如果采用这些损失函数来优化模型，就不再是最小二乘法了，而是其他的优化方法。因此，选择适当的损失函数是回归分析中至关重要的一个步骤，它将直接影响到模型的拟合效果和预测力。

梯度下降算法

梯度

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）

梯度下降算法

本身不是机器学习算法，而是一种求解的最优化算法，主要解决求最小值问题，在回归分析中，梯度下降法可以用于优化模型参数，通过计算损失函数关于模型参数的梯度，梯度下降法可以逐步更新参数，使损失函数不断减小，从而得到更好的拟合效果。使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。