正则化与L0,L1,L2范数简介

参考：机器学习中的范数规则化之（一）L0、L1与L2范数

1. 常见的范数

1.1 L0 范数

向量中非零元素的个数，即稀疏度，适合稀疏编码，特征选择。

1.2 L1 范数

又叫曼哈顿距离或最小绝对误差，向量中各个元素绝对值之和，也叫“稀疏规则算子”。

1.3 L2 范数

又叫欧式距离，向量中各元素平方和再开方。

L1 范数相当于给模型参数设置一个拉普拉斯先验分布；L2范数相当于给模型参数设置一个均值为0的高斯先验分布。

1.4 针对线性回归问题怎么选择惩罚项？

通过缩减回归系数避免过拟合问题。

L1 范数(Lasso回归)

1. 特征选择（将某些系数缩减为0）

2. 防止过拟合。

L2 范数(Ridge回归)

1. 规则化，让优化求解变得更稳定快速；

2. 防止过拟合。

2. 正则化

2.1 正则化作用

在经验风险与模型复杂度之间做平衡（选择二者同时较小的模型），