常用几种距离的标识

最新推荐文章于 2023-08-11 06:51:29 发布

原创最新推荐文章于 2023-08-11 06:51:29 发布 · 1.5w 阅读

40 ·

CC 4.0 BY-SA版权

机器学习同时被 2 个专栏收录

9 篇文章

订阅专栏

人工智能学习笔记

8 篇文章

订阅专栏

本文介绍了多种距离度量方法，包括曼哈顿距离、欧氏距离、切比雪夫距离、标准化欧氏距离、闵可夫斯基距离、马氏距离、余弦距离、汉明距离和杰卡德距离。每种距离都有其适用场景和特点，例如曼哈顿距离在城市街区导航中应用，欧氏距离是基础的直观距离，马氏距离考虑了变量的相关性和尺度，而余弦距离则关注向量的方向差异。信息熵则衡量样本集的分布集中程度。

曼哈顿距离(Manhattan Distance)

顾名思义，在曼哈顿街区要从一个十字路口开车到另一个十字路口，驾驶距离显然不是两点间的直线距离。这个实际驾驶距离就是“曼哈顿距离”。曼哈顿距离也称为“城市街区距离”(City Block distance)。

这里写图片描述

二维平面两点a(x1,y1)与b(x2,y2)间的曼哈顿距离：
$d_{12} = |x_1-x_2|+|y_1-y_2|$
n维空间点a(x11,x12,…,x1n)与b(x21,x22,…,x2n)的曼哈顿距离：
$d12 = \displaystyle\sum_{k=1}^{n}|x_{1k}-x_{2k}|$
Matlab计算曼哈顿距离：

X=[1 1;2 2;3 3;4 4];
d=pdist(X,'cityblock')
d= 2     4     6     2     4     2

欧氏距离(Euclidean Distance)

欧氏距离是最容易直观理解的距离度量方法，我们小学、初中和高中接触到的两个点在空间中的距离一般都是指欧氏距离。

这里写图片描述

二维平面上点a(x1,y1)与b(x2,y2)间的欧氏距离:

$d_{12} = \sqrt{(x_1-x_2)^2+(y_1-y_2)^2}$
三维空间点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离：

$d_{12} = \sqrt{(x_1-x_2)^2+(y_1-y_2)^2+(x_1-z_2)^2}$
n维空间点a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的欧氏距离（两个n维向量）：

$d_{12}=\sqrt{\displaystyle\sum_{k=1}^{n}(x_{1k}-x_{2k})^2}$
Matlab计算欧氏距离:
Matlab计算距离使用pdist函数。若X是一个m×n的矩阵，则pdist(X)将X矩阵每一行作为一个n维行向量，然后计算这m个向量两两间的距离。
```
X=[1 1;2 2;3 3;4 4];
d=pdist(X,'euclidean')
d=
      1.4142    2.8284    4.2426    1.4142    2.8284    1.4142
```

切比雪夫距离 (Chebyshev Distance)

国际象棋中，国王可以直行、横行、斜行，所以国王走一步可以移动到相邻8个方格中的任意一个。国王从格子(x1,y1)走到格子(x2,y2)最少需要多少步？这个距离就叫切比雪夫距离。

这里写图片描述

二维平面两点a(x1,y1)与b(x2,y2)间的切比雪夫距离：

$d_{12}=max(|x_1-x_2|,|y_1-y_2|)$

n维空间点a(x11,x12,…,x1n)与b(x21,x22,…,x2n)的切比雪夫距离：

$d_{12}=\displaystyle\max_{i}(|x_{1i}-x_{2i}|)$

Matlab计算切比雪夫距离：

 X=[1 1;2 2;3 3;4 4];
 d=pdist(X,'chebychev')
 d=
    1     2     3     1     2     1

标准化欧氏距离 (Standardized Euclidean Distance)

定义：标准化欧氏距离是针对欧氏距离的缺点而作的一种改进。
引入标准化欧式距离的原因是一个数据xi的各个维度之间的尺度不一样。
标准欧氏距离的思路：既然数据各维分量的分布不一样，那先将各个分量都“标准化”到均值、方差相等(做到尺度无关)。
- 尺度无关
假设向量中第一维度元素数量级是100，第二维度数量级为10，如：(500,40),(100,10),则计算欧式距离
$d = \sqrt{(500-100)^2+(40-10)^2}=\sqrt{100*(50-10)^2+(40-10)^2}$

可见欧氏距离第一维度100权重，这会压制第二维度的影响力。对所有维度分别进行处理，使得各个维度分别满足标准正态分布。使各个维度影响力相同。

这样做归一化处理后的结果：
$d=\sqrt{\displaystyle\sum_{i=1}^{n}\frac{(x_i-y_i)^2}{s_{i}^{2}}}$

其中 $s_{i}^{2}$ 是第i维度的方差（此处虽然举例只有X,Y两个点，但整个数据集中会有无数个点，根据数据集得到方差分布）

如果将方差的倒数看成是一个权重，这个公式可以看成是一种加权欧氏距离(WeightedEuclidean distance)。

闵可夫斯基距离(Minkowski Distance)

闵氏距离不是一种距离，而是一组距离的定义，是对多个距离度量公式的概括性的表述。

闵氏距离定义：两个n维变量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的闵可夫斯基距离定义为：

$d_{12}=\sqrt[p]{\displaystyle\sum_{k=1}^{n}|x_{1k}-x_{2k}|^p}$

或
$d(x,y) = (\displaystyle\sum_{k=1}^{n}|x_{k}-y_{k}|^s)^{\frac{1}{s}}$

s越大,某一维上的较大差异对最终差值的影响也越大.
1. s = 1, 曼哈顿距离
2. s = 2, 欧式距离
3. s = $\infty$ ,上界距离，等同于切比雪夫距离。

马氏距离(Mahalanobis Distance)

马氏距离的引出：
这里写图片描述

上图有两个正态分布的总体，它们的均值分别为a和b，但方差不一样，则图中的A点离哪个总体更近？或者说A有更大的概率属于谁？显然，A离左边的更近，A属于左边总体的概率更大，尽管A与a的欧式距离远一些。这就是马氏距离的直观解释。

概念：马氏距离是基于样本分布的一种距离。物理意义就是在规范化的主成分空间中的欧氏距离。所谓规范化的主成分空间就是利用主成分分析对一些数据进行主成分分解。再对所有主成分分解轴做归一化，形成新的坐标轴。由这些坐标轴张成的空间就是规范化的主成分空间

这里写图片描述

定义：有M个样本向量X1~Xm，协方差矩阵记为S，均值记为向量μ，则其中样本向量X到μ的马氏距离表示为：
$D(x) = \sqrt{(X-\mu )^TS^{-1}(X-\mu)}$

向量Xi与Xj之间的马氏距离定义为：

$D(X_{i},X_{j})= \sqrt{(X_i-X_j )^TS^{-1}(X_i-X_j)}$

若协方差矩阵是单位矩阵（各个样本向量之间独立同分布），则Xi与Xj之间的马氏距离等于他们的欧氏距离：
$D(X_{i},X_{j})= \sqrt{(X_i-X_j )^T(X_i-X_j)}$

若协方差矩阵是对角矩阵，则就是标准化欧氏距离。
欧式距离&马氏距离：
这里写图片描述

马氏距离的特点:
- 量纲无关，排除变量之间的相关性的干扰；
- 马氏距离的计算是建立在总体样本的基础上的，如果拿同样的两个样本，放入两个不同的总体中，最后计算得出的两个样本间的马氏距离通常是不相同的，除非这两个总体的协方差矩阵碰巧相同；
- 计算马氏距离过程中，要求总体样本数大于样本的维数，否则得到的总体样本协方差矩阵逆矩阵不存在，这种情况下，用欧式距离计算即可。

Matlab计算马氏距离：

 X=[1 2;1 3;2 2;3 1];
  d=pdist(X,'mahal')
  d=
    2.3452    2.0000    2.3452    1.2247    2.4495    1.2247

余弦距离(Cosine Distance)

几何中，夹角余弦可用来衡量两个向量方向的差异；机器学习中，借用这一概念来衡量样本向量之间的差异。

二维空间中向量A(x1,y1)与向量B(x2,y2)的夹角余弦公式：

$\cos(\theta)=\frac{x_1x_2+y_1y_2}{\sqrt{x_1^2+y_1^2}\sqrt{x_2^2+y_2^2}}$

两个n维样本点a(x11,x12,…,x1n)和b(x21,x22,…,x2n)的夹角余弦为：

$\cos(\theta) = \frac{a\cdot b}{|a||b|}$
即：
$\cos(\theta) = \frac{\displaystyle\sum_{k=1}^{n}x_{1k}x_{2k}}{\sqrt{\displaystyle\sum_{k=1}^{n}x_{1k}^{2}}\sqrt{\displaystyle\sum_{k=1}^{n}x_{2k}^{2}}}$

夹角余弦取值范围为[-1,1]。余弦越大表示两个向量的夹角越小，余弦越小表示两向量的夹角越大。当两个向量的方向重合时余弦取最大值1，当两个向量的方向完全相反余弦取最小值-1。

Matlab计算夹角余弦（Matlab中的pdist(X, ‘cosine’)得到的是1减夹角余弦的值）：

X=[1 1;1 2;2 5;1 -4];
d=1-pdist(X,'cosine')
d=
   0.9487    0.9191   -0.5145    0.9965   -0.7593   -0.8107

汉明距离(Hamming Distance)

这里写图片描述

定义：两个等长字符串s1与s2的汉明距离为：将其中一个变为另外一个所需要作的最小字符替换次数。例如:

The Hamming distance between "1011101" and "1001001" is 2. 
The Hamming distance between "2143896" and "2233796" is 3. 
The Hamming distance between "toned" and "roses" is 3.

汉明重量：是字符串相对于同样长度的零字符串的汉明距离，也就是说，它是字符串中非零的元素个数：对于二进制字符串来说，就是 1 的个数，所以 11101 的汉明重量是 4。因此，如果向量空间中的元素a和b之间的汉明距离等于它们汉明重量的差a-b。
应用：汉明重量分析在包括信息论、编码理论、密码学等领域都有应用。比如在信息编码过程中，为了增强容错性，应使得编码间的最小汉明距离尽可能大。但是，如果要比较两个不同长度的字符串，不仅要进行替换，而且要进行插入与删除的运算，在这种场合下，通常使用更加复杂的编辑距离等算法。
Matlab计算汉明距离（Matlab中2个向量之间的汉明距离的定义为2个向量不同的分量所占的百分比）：

  X=[0 1 1;1 1 2;1 5 2];
  d=pdist(X,'hamming')
  d=
    0.6667    1.0000    0.3333

杰卡德距离(Jaccard Distance)

杰卡德相似系数(Jaccard similarity coefficient)：两个集合A和B的交集元素在A，B的并集中所占的比例，称为两个集合的杰卡德相似系数，用符号J(A,B)表示：

$J(A,B) = \frac{|A\bigcap B|}{|A\bigcup B|}$

杰卡德距离(Jaccard Distance)：与杰卡德相似系数相反，用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度：

$J_\delta(A,B)= 1-J(A,B)= \frac{|A\bigcup B|-|A\bigcap B|}{|A\bigcup B|}$

Matlab计算杰卡德距离（Matlab中将杰卡德距离定义为不同的维度的个数占“非全零维度”的比例）：

      X=[1 1 0;1 -1 0;-1 1 0];
      d=pdist(X,'jaccard')
      d=
        0.5000    0.5000    1.0000
 ```
### 相关距离(Correlation distance)

![这里写图片描述](https://img-blog.youkuaiyun.com/20180607155515121?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0cxMDM2NTgzOTk3/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)

相关系数：是衡量随机变量X与Y相关程度的一种方法，相关系数的取值范围是[-1,1]。相关系数的绝对值越大，则表明X与Y相关度越高。当X与Y线性相关时，相关系数取值为1（正线性相关）或-1（负线性相关）：

$\rho_{XY} = \frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} = \frac{E((X-E(X)(Y-E(Y))))}{\sqrt{D(X)}\sqrt{D(Y)}}$

相关距离：
$D_{xy}= 1-\rho_{XY}$

Matlab计算相关系数与相关距离：

X=[1 2 3 4;3 8 7 6];
c=corrcoef(X’) %返回相关系数矩阵
d=pdist(X,’correlation’) %返回相关距离
c=
1.0000 0.4781
0.4781 1.0000
d=
0.5219
“`

信息熵(Information Entropy)

以上的距离度量方法度量的皆为两个样本（向量）之间的距离，而信息熵描述的是整个系统内部样本之间的一个距离，或者称之为系统内样本分布的集中程度（一致程度）、分散程度、混乱程度（不一致程度）。系统内样本分布越分散(或者说分布越平均)，信息熵就越大。分布越有序（或者说分布越集中），信息熵就越小。
这里写图片描述