机器学习算法3_正则化

机器学习算法第三篇

主要内容:正则化

 \  
 \  

过拟合

在机器学习的时候,对模型的选择上算法上一味追求对训练数据的预测能力,所选模型的复杂度往往会比真实的的模型更高,这种现象称为过拟合

例如: 对目标函数$h_{\theta }(x)={\theta }_1{x}_i^{(1)}+{\theta }_2{x}_i^{(2)}+...+{\theta }_n{x}_i^{(n)}$ 中的构建中,当项数超过一定项数后,项数继续增加,曲线越是复杂,对训练集数据的预测越是准确,但对测试集的预测效果反而越差,这种现象称为过拟合

 \  
 \  

正则化

在处理过拟合问题时候常规的代价函数$J({\theta }_1,{\theta }_2...{\theta }_n)=\frac{1}{2m}{\sum }_{i=1}^m({\hat{y}}_i-y_i{)}^2$无法对此进行控制
故科学家们在原代价函数中导入了正则化项(regularizer): $\lambda j(\theta )$,l来解决该问题
正则化项一般是模型复杂度的单调递增模型,模型越复杂,正则化值就越大

在一般的回归问题上损失函数是平方损失,故正则化项也可以采用参数$\theta$的L2范数,这种多项式模型被称为岭回归算法
$$J({\theta }_1,{\theta }_2...{\theta }_n)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x)-y_i{)}^2+\lambda \sum _{j=1}^n{\theta }_j^2$$
正则化项也可以取L1范数正则化,这种多项式模型被称为LASSO算法
$$J({\theta }_1,{\theta }_2...{\theta }_n)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x)-y_i{)}^2+\lambda \sum _{j=1}^n|{\theta }_j|$$

正则化后的损失函数$J({\theta }_1,{\theta }_2...{\theta }_n)$加号左边部分一般称为经验风险,右边称为结构风险
$\lambda$用来调节加号左边经验风险与右边结构风险的比例
经验风险较小的模型可能较为复杂(项数太多),此时模型的结构风险会增大,从而使求损失函数最小化的过程不容易产生过拟合

也可以这么说:
正则化可以筛选经验风险与结构风险同时最小的模型
 \