数据压缩作业：最佳预测系数求取过程（手写）与最小二乘法总结

最佳预测系数求取过程与最小二分法总结

最佳预测系数求取过程（手写）

最小二乘法总结

介绍

来自 Wikipedia：
　　最小二乘法（least squares method），又称最小平方法，是一种数学优化方法。它通过最小化误差的平方和寻找数据的最佳函数匹配。
　　利用最小二乘法可以简便的求得未知的数据，并使得求得的数据与实际数据之间误差的平方和为最小。
　　“最小二乘法”是对线性方程组，即方程个数比未知数更多的方程组，以回归分析求得近似解的标准方法。在这整个解决方案中，最小二乘法演算为每一方程式的结果中，将残差平方和的总和最小化。

“最小二乘法”是对线性方程组，即方程个数比未知数多的方程组，以回归分析求得近似解的标准方法。在这整个解决方案中，最小二乘法演算为每一方程式的结果残差平方和的总和最小化。其核心思想是求取误差函数并使其最小。

梯度下降法

函数在某点的梯度即为该函数在该点变化最快的方向，梯度下降法也因此称为最速下降法。
　　
　　梯度下降法的本质为通过迭代求取目标函数最小值
　　同时，由于梯度还是函数在该点上升最快的方向，梯度下降法用负梯度方向为搜索方向。梯度下降法越接近目标值，步长越小，前进越慢。当函数只存在一个梯度为零的点时，各点梯度指向的点即为该点。但若其存在多个极值点或梯度为零的点时，梯度并不总指向其最低点/最高点，也就是我们想要的点，但我们可以通过此方法来决定函数走向并尽可能降低函数的值。
　　作为求解无约束优化问题最简单和最古老的方法之一，梯度下降法虽然在现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。

牛顿法

牛顿法主要提供了一个针对非线性优化的解决方案。
　　
　　其原理是利用泰勒公式，在 $x_0$ 处泰勒展开到一阶，即 f ( x ) = f ( x 0 ) + ( x － x 0 ) f ′ ( x 0 ) f(x)=f(x_0)+(x－x_0)f'(x_0) f(x)=f(x0​)+(x－x0​)f