L1和L2范数正则化

L0范数表示向量中非零元素的个数$^{[2]}$
$\left\|\mathbf{x} \right\|_0=\#i, where x_i \neq0$
最小化L0范数，就是尽量让$x_i$为0，所以它可以做稀疏编码和特征选择。但是最小化L0范数是一个NP hard问题，难以求解，一般用它的最优凸近似即L1范数代替。

L1范数表示向量中所有元素的绝对值和
$\left\|\mathbf{x} \right\|_1=\sum_{i=1}^n\left|x_i\right|$

L2范数表示欧氏距离
∥x∥2=