有监督回归：最小二乘学习法

1.前言

接下来几篇博客将总结回归问题中的各种有监督学习算法。

本片博客介绍回归问题中的最基本算法——最小二乘学习法；下一篇介绍为了避免过拟合而设置约束条件的最小二乘学习法。之后，我也会介绍难度高一点的稀疏学习法和鲁棒学习法。

在以下几篇文章中，我们将对以d次方的实数向量X作为输入、以实数值y作为输出。可以描述为y=f(X)。这里，真实的函数关系f是未知的，通过学习过程中作为训练集进行学习。

一般情况下，输出样本yi的真实值f(xi)中经常会观测到噪声。

2.最小二乘学习法

最小二乘学习法是对模型的输出fΘ(xi)和训练集输出{yi}i=1->n的平方误差为最小时的参数Θ进行学习。核心原理如下公式所示：

LS是Least Square的首字母。这一要说明的是：1/2是自己添加的，目的是为了约去对Jls进行微分时得到的2。平方误差可以理解为每一次观测残差的L2范数。所以很多情况下，最小二乘学习法也被称为L2范数损失最小化学习法。

如果使用线性模型：