有监督回归：约束条件下的最小二乘法

1.前言

前面介绍的最小二乘学习法，是众多机器学习算法中极为重要的一种基础算法。但是，单纯的最小二乘法对于包含噪声的学习过程经常有过拟合的弱点。如下图所示：

这往往是由于学习模型对于训练样本而言过于复杂。因此，本篇博客将介绍能够控制模型复杂程度的、带有约束条件的最小二乘学习法。

2.部分空间约束的最小二乘学习法

在有参数线性模型：

的一般最小二乘学习法中，因为参数{Θj}j=1->b可以自由设置，使用的是如下图所示的全体参数空间：

本篇博客中将要介绍的部分空间约束的最小二乘法，则是通过把参数空间限制在一定范围内，来防止过拟合现象。

在这里，P是满足P^2=P和P’=P的b*b维矩阵，表示的是矩阵P的值域R(P)的正交投影矩阵。如下图所示：