对最小二乘的总结

最小二乘法是衡量一个特定模型与数据点接近程度的普遍方法

它是指计算真实数据和预测数据间的平方差

平方保证了所有的结果都是正数，当然也有使用绝对值的

这种方法给我留下的最直观印象是大量的矩阵运算

线性关系

对于直线函数

w0是截距（与t轴）

w1是梯度（斜率）

也有可能是二次的

或高次的

这是一个k阶多项式函数

这个K阶多项式的矩阵形式

函数不限于多项式函数

平方损失函数 square loss function

在整个数据集山的平均损失

矩阵形式

也可以写成

下式能更清晰地展示两种形式间的转换

所以

我们的目标是

所以我们要找的是合适的w

对损失函数求导（寻找拐点）

注意，对于线性关系我们求关于w的各个偏导数

带入上方L的展开式

最后我们得到最小二乘法的公式