距离（distance）、相似性（similarity）、向量范数（norm）

最新推荐文章于 2022-11-15 20:03:08 发布

原创

最新推荐文章于 2022-11-15 20:03:08 发布 · 9.5k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#概念-距离-相似性

本文介绍了距离、相似性及其度量的基本性质，包括距离度量的非负性、同一性、对称性和直递性，以及相似性的归一化性质。此外，还详细讨论了向量范数的定义和常见范数，如1范数、2范数和无穷范数。文中列举了多种距离和相似性测度公式，如欧几里得距离、余弦相似性和Jaccard相似性，并给出了香农信息熵家族的相关度量。这些概念和度量在机器学习和数据挖掘等领域中有着广泛应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

距离

      对函数 $dist(\cdot,\cdot)$ ，若它是一个“距离度量”（distance measure），则需满足一些基本性质 $^{[1]}$ ：
      非负性(Positive)： $dist(\textbf{x},\textbf{y})\ge0$
      同一性(Reflexive)： $dist(\textbf{x},\textbf{y})=0$ 当且仅当 $\textbf{x}=\textbf{y}$
      对称性(Symmetric)： $dist(\textbf{x},\textbf{y})=dist(\textbf{y},\textbf{x})$
      直递性(Triangular inequation)： $dist(\textbf{x},\textbf{y})\le dist(\textbf{x},\textbf{z})+dist(\textbf{z},\textbf{y})$

相似性

      对函数 $sim(\cdot,\cdot)$ ，若它是一个归一化“相似性度量”（similarity measure），则有以下一些基本性质 $^{[1]}$ ：
       $sim(\textbf{x},\textbf{y})\in[0,1]$
       $sim(\textbf{x},\textbf{y})=1$ 当且仅当 $\textbf{x}=\textbf{y}$
       $sim(\textbf{x},\textbf{y})=0$ 当且仅当 $\textbf{x}$ 和 $\textbf{y}$ 完全不一样

通常可以通过距离来定义相似性：

sim(x,y)=1−dist(x,y) $sim(\textbf{x},\textbf{y})=1-dist(\textbf{x},\textbf{y})$

sim(x,y)=1dist(x,y) $sim(\textbf{x},\textbf{y})=\frac{1}{\large{dist(\textbf{x},\textbf{y})}}$

向量范数

定义如果 ${V}$ 是数域 ${K}$ 上的线性空间，且对于 ${V}$ 的任一向量 ${\chi}$ ，对应一个实值函数 $\parallel\chi\parallel$ ，它满足以下三个条件 $^{[2]}$ ：
      非负性：当 ${\chi}\neq0$ 时 $\parallel\chi\parallel\gt0$ ；当 ${\chi}=0$ 时 $\parallel\chi\parallel=0$ ；
      齐次性： $\parallel\alpha\chi\parallel=|\alpha|\parallel\chi\parallel$ ， $\chi\in V$ ；
      三角不等式： $\parallel\chi+\zeta\parallel\le\parallel\chi\parallel+\parallel\zeta\parallel$ ， $\chi，\zeta \in V$
则称 $\parallel\chi\parallel$ 为 $V$ 上 $\chi$ 的范数（norm）。

常用范数

假设向量 $\chi=(\xi_1,\xi_2,\cdot\cdot\cdot,\xi_n)$ ，则有 $^{[2]}$
1范数：

∥χ∥=∑ni=1|ξi| $\parallel\chi\parallel=\sum_{i=1}^n|\xi_i|$
2范数（欧式范数）：

∥χ∥2=|ξ1|2+|ξ2|2+⋅⋅⋅+|ξn|2−−−−−−−−−−−−−−−−−−−√ $\parallel\chi\parallel_2=\sqrt{|{\xi}_1|^2+|{\xi}_2|^2+\cdot\cdot\cdot+|{\xi}_n|^2}$

∞ $\infty$ 范数：

∥χ∥∞=max−−−−i|ξi| $\parallel\chi\parallel_\infty=\underline{max}_{i}|\xi_i|$
p范数：

∥χ∥p=(∑ni=1|ξi|p)1p，1≤p<+∞ $\parallel\chi\parallel_p=(\sum_{i=1}^n|\xi_i|^p)^{\frac{1}p}，1\leq p\lt+\infty$

从上面定义及特性可以看出，距离、相似性、向量范数在很多种情况下是可以互相转化的。

常用的距离/相似性测度公式

下面按照句法相似性（syntactic similarities）介绍一些距离测度、相似性测度家族 $^{[3]}$
假设 $\textbf P=(P_1,P_2,\cdot\cdot\cdot,P_d), \textbf Q=(Q_1,Q_2, \cdot\cdot\cdot,Q_d)$
- Lp Minkowski family (闵可夫斯基距离测度家族)
  - Euclidean $L_2$ $d_{Euc}=\sqrt{\sum_{i=1}^d|P_i-Q_i|^2}$
  - City block $L_1$ $d_{CB}=\sum_{i=1}^d|P_i-Q_i|$
  - Minkowski $L_p$ $d_{MK}=({\sum_{i=1}^d|P_i-Q_i|^p})^{\frac{1}p}$
  - Chebyshev $L_\infty$ $d_{Cheb}=max_i|P_i-Q_i|$
- L1 family （ L1 范数测度家族）
  - Sorensen dsor=∑di=1(Pi−