岭回归、Lasso及其分析

基本概念

前段我们讨论了线性回归模型的原理策略，假定可以表示为

$$f(x_i)=\sum_{k=1}^n {w_kx_{ik} + w_0}=wx_i$$
其损失函数为：
$$J(w)= \frac 1{2m}\sum_{i=1}^m {(y_i-f(x_i))^2}=\frac 1{2m}||y-Xw||^2$$

最小二乘法求解可以得到最优解：

$$w=(X^TX)^{-1}X^Ty$$

在讨论ridge regression 和 lasso 之前，先学习两个概念。

监督学习有两大基本策略，经验风险最小化和结构风险最小化。
经验风险最小化策略为求解最优化问题，线性回归中的求解损失函数最小化问题即是经验风险最小化策略。
经验风险最小化的定义为：

Remp(f)=1