【向量范数】详解常用的向量范数

有梦想的程序星空

已于 2024-11-27 22:00:17 修改

阅读量8.3k

点赞数 4

CC 4.0 BY-SA版权

分类专栏：机器学习深入浅出讲解自然语言处理文章标签：算法机器学习

于 2022-07-05 10:09:48 首次发布

本文链接：https://blog.youkuaiyun.com/kevinjin2011/article/details/125613871

深入浅出讲解自然语言处理同时被 2 个专栏收录

43 篇文章

订阅专栏

机器学习

12 篇文章

订阅专栏

本文详细介绍了Lp范数的概念及其特例L0、L1、L2和无穷范数，探讨了它们在特征选择、稀疏编码及优化正则化中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在数学与工程领域，向量范数是一个极为重要的概念，它为衡量向量的 “大小” 或 “长度” 提供了一种标准化的方式，并在众多领域如数值分析、机器学习、优化理论等有着广泛而深入的应用。本文将详细探讨向量范数的定义、性质、常见类型以及实际应用场景。

1、Lp范数

对应于闵可夫斯基距离(Minkowski distance)，假设 $n$ 维向量 $x = {({x_1},{x_2}, \cdots ,{x_n})^T}$ ，其Lp范数记作 $||x|{|_p}$ ，定义为：

$||x|{|_p} = {(\sum\limits_i {|{x_i}{|^p}} )^{\frac{1}{p}}}$

2、L0范数

假设 $n$ 维向量 $x = {({x_1},{x_2}, \cdots ,{x_n})^T}$ ，其L0范数记作 $||x|{|_0}$ ，定义为：

$||x|{|_0} = \sum\limits_i {|{x_i}{|^0}}$

L0范数表示向量中非零项的个数，因而L0范数常常用于稀疏编码。在特征选择中，通过最小化L0范数来寻找最少最优的稀疏特征项。不过这个问题是个NP难问题，而L1范数是L0范数的最优凸近似，经常需要转换为求解L1范数。

3、L1范数

当P=1时，也就是L1范数，对应曼哈顿距离(Manhattan distance)，假设 $n$ 维向量 $x = {({x_1},{x_2}, \cdots ,{x_n})^T}$ ，其L1范数记作 $||x|{|_1}$ ，定义为：

$||x|{|_1} = \sum\limits_i {|{x_i}|}$

L1范数表示向量中各个元素绝对值之和，也被称作“Lasso regularization”（稀疏规则算子）。

4、L2范数

当P=2时，也就是L2范数，对应欧式距离 (Manhattan distance)，假设 $n$ 维向量 $x = {({x_1},{x_2}, \cdots ,{x_n})^T}$ ，其L2范数记作 $||x|{|_2}$ ，定义为：

$||x|{|_2} = \sqrt {\sum\limits_i {|{x_i}{|^2}} }$

L2范数是最常用的范数，它表示从原点出发到向量 $x$ 确定的点的欧几里得距离。可用于优化正则化项，避免过拟合。

5、无穷范数

无穷范数对应切比雪夫距离 (Chebyshev distance)，假设 $n$ 维向量 $x = {({x_1},{x_2}, \cdots ,{x_n})^T}$ ，其无穷范数记作 $||x|{|_\infty }$ ，定义为：

$||x|{|_\infty } = \max (|{x_i}|)$

它主要被用来度量向量中元素的最大值。

向量范数的应用

（一）数值分析中的误差估计
在数值计算中，由于计算机的有限精度，计算结果往往存在误差。向量范数可以用来估计这种误差的大小。

（二）机器学习中的正则化
在机器学习中，为了防止模型过拟合，常常会使用正则化技术。

（三）信号处理中的信号强度衡量
在信号处理领域，向量可以用来表示信号。例如，离散时间信号可以看作是一个向量，其范数可以用来衡量信号的强度或能量。2 - 范数在这种情况下与信号的能量直接相关，通过计算信号向量的 2 - 范数，可以对信号的功率、幅度等特性进行分析和处理，例如在通信系统中评估信号的质量和强度，以便进行信号的传输、编码和解码等操作。

（四）信号传输与编码
在通信系统中，向量范式用于信号的传输和编码过程。例如，在数字通信里，为了提高信号传输的可靠性和效率，会采用编码技术。纠错码的设计常常基于向量空间的概念，利用向量范式来定义码向量之间的距离，如汉明距离（与向量范式相关的一种度量）。通过确保编码后的码向量之间具有足够的距离（根据某种向量范式衡量），可以在信号传输过程中检测和纠正错误。例如，在信道编码中，将原始信息映射为具有特定向量范式性质的码向量，使得接收端在接收到可能受干扰的信号后，能够依据向量范式相关的距离度量判断并纠正错误，从而保证信息的准确传输。

（五）光照模型与渲染
在光照模型中，向量范式用于计算光线方向向量与物体表面法向量之间的夹角等几何关系。

向量范式凭借其对向量的标准化度量特性，在机器学习、信号处理、数值计算、计算机图形学等多个领域中展现出不可或缺的价值，为解决各类复杂的实际问题提供了坚实的理论基础和有效的技术手段，并且随着相关领域的不断发展，其应用也将不断拓展和深化。

综上所述，向量范数作为数学领域中的一个重要概念，不仅有着严谨的理论定义和丰富的性质，而且在多个实际领域中都有着不可或缺的应用。深入理解向量范数有助于我们更好地掌握数学分析工具，解决工程和科学研究中的各种问题，并为进一步探索相关领域的知识奠定坚实的基础。