浅析 Adaptive Linear Regression 自适应线性回归 ALR

自适应线性回归，本质上还是线性回归，不过它的特点是 能够处理一种特殊情况：

我们都知道 求解m个未知数需要至少m个等式联立，若等式少于m会得到无穷解，等式过多会无解

而自适应线性回归对于后者给出了一种解决方案:

当样本数 n > m 特征维数时，映射矩阵不可能求解出能够 满足所有样本和标签对的映射关系。

ALR采取了一种类似降维的方式，将原本过大的样本集减少至能够刚好满足特征维数的映射求解。

由于 对样本降维：意味着不仅仅要对 特征数据降维，还应对标签值做一定的变换，这样一来问题还需进一步分析。

也就是说，简单地将原特征集 nxm 降维至 mxm 是不行的的，所有特征集和对于标签集都应该降至一个冰点维数

设该维数为 s，则 s（目标维数） < m（求解至少维数） < n（原样本集维数）

因此，ALR需要完成的是  将样本量为 n 的数据集  直接  降维至 s子集。

下面给出定义：

给定矩阵 和，将mxn的矩阵E视为

n 个特征维度为m的 样本，每个样本对应一个 标签值（回归值）为 x，一个简单的从E 到 X 的线性回归可以通过下面的映射