【数学笔记】描述样本相似度的几种指标

最新推荐文章于 2024-12-16 16:20:25 发布

原创最新推荐文章于 2024-12-16 16:20:25 发布 · 988 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#样本相关性

数学专栏收录该内容

3 篇文章

订阅专栏

本文介绍了闵可夫斯基距离、马哈拉诺比斯距离、相关系数和夹角余弦这四种衡量样本间相似度或相关性的数学方法。闵可夫斯基距离是包含曼哈顿距离和欧式距离的广义形式，而马哈拉诺比斯距离考虑了数据的协方差结构。相关系数衡量变量间的线性相关性，夹角余弦则用于评估两个向量的方向一致性。这些概念在数据挖掘、机器学习等领域中有着广泛应用。

1.闵可夫斯基距离

给定样本集合 $X$ , $X$ 是 $m$ 维实数向量空间 $R^m$ 中点的集合，其中 $xi,xj∈Xx_i,x_j \in X$ , $,xmi)Tx_i=(x_{1i},x_{2i},\cdots,x_{mi})^T$ , $,xmj)Tx_i=(x_{1j},x_{2j},\cdots,x_{mj})^T$ ,样本 $x_i$ 与样本 $x_j$ 的闵可夫斯基距离(Minkowski distance)为
$dij=(∑k=1m∣xki−xkj∣p)1pd_{ij}=(\sum_{k=1}^{m}|x_{ki}-x_{kj}|^p)^\frac{1}{p}$
其中 $p \geq 1$ 。
$p = 1$ 时称为曼哈顿距离(Manhattan distance)
$p = 2$ 时称为欧式距离(Euclidean distance)
$p = \infty$ 时称为切比雪夫距离(Chebyshev distance)，通过夹逼法不难证明此时 $d_{ij}=\max|x_{ki}-x_{kj}|$

闵可夫斯基距离越大相似度越小

2.马哈拉诺比斯距离

给定一个样本集合 $X$ ， $X=[x_{ij}]_{m×n }$ ,其协方差矩阵记作 $S$ 。样本 $x_i$ 与样本 $x_j$ 的马哈拉诺比斯距离为 $dij=[(xi−xj)TS−1(xi−xj)]12d_{ij}=[(x_i-x_j)^TS^{-1}(x_i-x_j)]^\frac{1}{2}$
当S为单位矩阵，马哈拉诺比斯距离为欧氏距离。

马哈拉诺比斯距离越大相似度越小

3.相关系数

样本 $x_i$ 与 $x_j$ 之间的相关系数为:
$rij=∑k=1m(xki−xiˉ)(xkj−xjˉ)[∑k=1m(xki−xiˉ)2∑k=1m(xkj−xjˉ)2]r_{ij}=\frac{\sum_{k=1}^{m}(x_{ki}-\bar{x_i})(x_{kj}-\bar{x_j})}{[\sum_{k=1}^{m}{(x_{ki}-\bar{x_i}}^{})^2\sum_{k=1}^{m}(x_{kj}-\bar{x_j})^2]}$

相关系数越接近于1，相关性越大，越接近于0，相关性越小

4.夹角余弦

样本 $x_i$ 与 $x_j$ 之间的夹角余弦为:
$sij=∑k=1mxkixkj[∑k=1mxki2∑k=1mxkj2]12s_{ij}=\frac{\sum_{k=1}^{m}x_{ki}x_{kj}}{[\sum_{k=1}^{m}x_{ki}^2\sum_{k=1}^{m}x_{kj}^2]^\frac{1}{2}}$
夹角余弦越接近于1，相关性越大，越接近于0，相关性越小