【高等数学笔记】彻底弄懂最小二乘法（Least Squares Method）

原创

已于 2022-03-14 18:58:16 修改 · 8.5k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#最小二乘法 #python #机器学习 #经验分享 #学习

于 2022-03-11 22:06:30 首次发布

这篇博客介绍了最小二乘法在拟合一元线性函数时的作用，通过数学推导展示了如何找到使得偏差平方和最小的参数值。以一次函数为例，详细阐述了计算过程，并提供了Python代码实现，实现了从数据点中求解最佳拟合直线的斜率和截距。最后，讨论了算法的时间复杂度为线性。

该文章已生成可运行项目，

假设我们要拟合一个一元函数，目前我们知道的自变量及因变量的值是 $,(xn,yn)(x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n)$ ，而我们要求 $y = f (x)$ ，使得用它作为近似函数时，函数值与真实值的偏差 $r_i=f(x_i)-y_i$ 的平方和 $∑i=1nri2=∑i=1n(f(xi)−yi)2\sum\limits_{i=1}^nr_i^2=\sum\limits_{i=1}^n(f(x_i)-y_i)^2$ 最小。

假如我们已经选定了一类函数（模型）去拟合，现在要确定其中参数的值。比如我们选择了 $f(x)=e^{ax+b}$ 这种模型（一般用于拟合人口增长），就要确定参数 $a, b$ 的值。设参数为 $,ama_1,a_2,\cdots,a_m$ ，将 $f$ 表示为 $,am)f(x,a_1,a_2,\cdots,a_m)$ 。损失函数，即偏差的平方和为 $,am)−yi)2Q(a_1,a_2,\cdots,a_m)=\sum\limits_{i=1}^n(f(x_i,a_1,a_2,\cdots,a_m)-y_i)^2$