机器学习中的需要知道的几种范数

范数

在机器学习中，经常使用称为范数的函数来衡量大小。那么范数是什么呢？

范数实质上就是一种强化了的距离概念，它在定义上比距离多了一条数乘运算。
范数（包括L-p)范数是将向量映射到非负值的函数，满足下列定义：

1. $f(x)=0 ==> x=0 $
2. $f(x+y)\le f(x)+f(y)$
3. $\forall \alpha \in R,f(\alpha x)=|\alpha |f(x)$

$L^p$范数

$L^p$范数定义如下：
$$||x|{|}_p={(\sum _i|x_i{|}^p)}^{1/p}$$

根据p的变化，范数也有着不同的变化，一个经典的有关p范数的变化图如下：

上图表示了p从无穷到0变化时，三维空间中到原点的距离（范数）为1的点构成的图形的变化情况。以常见的L-2范数（p=2）为例，此时的范数也即欧氏距离，空间中到原点的欧氏距离为1的点构成了一个球面。

$L^0和L^1$范数

有时我们会统计向量中非零元素的个数来衡量向量的大小。有些人将这称为$L^0$范数。严格意义上，向量的非零元素数目不是范数。因此，$L^1$范数经常作为表示非零元素数目的替代函数。
L1范数是指向量中各个元素绝对值之和，也有个美称叫“稀疏规则算子”（Lasso regularization）。L1可实现稀疏，参数稀疏的好处为：

• 可解释性强
• 特征选择

$L^2$范数

L2范数称为欧几里得范数，表示从原点出发到向量x确定的点的欧几里得距离。平方L2范数也经常用来衡量向量的大小，可以简单地通过$x^{T}x$计算。平方L2范数在数学上和计算上逗比L2范数本身方便。平方L2范数的对x中每个元素的导数只取决于对应的元素，而L2范数对每个元素的导数和整个向量相关。但是平方L2范数在原点附近增长十分缓慢。某些情况下，并不适用。

$L^{\infty }$范数

当p=$\infty$时，也就是$L^{\infty }$范数，它主要被用来度量向量元素的最大值，与L0一样，通常情况下表示为 ：
$$||x|{|}_{\infty }=\underset{i}{\max }|x{|}_i$$

矩阵范数

1-范数

$$||A|{|}_1=\underset{j}{\max }{\sum _i}^m|a_{i,j}|$$

列和范数，即所有矩阵列向量绝对值之和的最大值。

2-范数

$$||A|{|}_2=\sqrt{{\lambda }_1}$$
$\lambda$为$A^{T}A$的最大特征值

$\infty -范数$

$$||A|{|}_{\infty }=\underset{i}{\max }{\sum _{j=1}}^N|a_{i,j}|$$

F-范数

$$||A|{|}_F=(\sum _i\sum _j|a_{i,j}{|}^2{)}^{1/2}$$