Lasso Regression||Ridge Regression||正则化||范数L1、L2||最小二乘关系详解

• 最小二乘

目标函数为：
$$\underset{w}{\min }||Xw-y|{|}_2^2$$
对于普通最小二乘的系数估计问题，其依赖于模型各项的相互独立性。 当各项是相关的，且设计矩阵(design matrix) X 的各列近似线性相关， 那么，设计矩阵会趋向于奇异矩阵，这会导致最小二乘估计对于随机误差非常敏感，产生很大的方差。 例如，在没有实验设计的情况下收集到的数据，这种多重共线性（multicollinearity）的情况可能真的会出现。