范数知识整理

向量范数

$L_0$范数

• $\Vert x{\Vert }_0=\sum |x_i{|}^0$
• 非零元素个数

如果我们使用$L_0$来规则化参数向量w，就是希望w的元素大部分都为零。$L_0$范数的这个属性，使其非常适用于机器学习中的稀疏编码。在特征选择中，通过最小化$L_0$范数来寻找最少最优的稀疏特征项。

但是，$L_0$范数的最小化问题是 NP 难问题。而$L_1$范数是$L_0$范数的最优凸近似，它比$L_0$范数要更容易求解。因此，优化过程将会被转换为更高维的范数（例如$L_1$范数）问题。

$L_1$范数

• $\Vert x{\Vert }_1=\sum |x_i|$
• 向量中各个元素绝对值之和，也被称作“Lasso regularization”（稀疏规则算子）

在最小化目标函数的时候考虑一些不重要的特征，虽然可以获得更小的训练误差，但在预测新的样本时可能会产生过拟合。稀疏规则化算子的引入就是为了完成特征自动选择，去掉信息较少的特征，也就是把这些特征对应的权重置为0。

$L_2$范数

• $\Vert x{\Vert }_2=\sqrt{\sum |x_i{|}^2}$