马氏距离



欧式距离和马氏距离都可以计算两个变量的相似度。
马氏距离能够描述不同维之间的关联性，其关键在于它用到了协方差矩阵，下面是wiki上的介绍：
--------------------------
在统计学与概率论中，协方差矩阵（或称共变异矩阵）是一个矩阵，其每个元素是各个向量元素之间的方差。这是从标量随机变量到高维度随机向量的自然推广。
假设X是以n个标量随机变量组成的列向量（一个列向量代表一个变量，而不是一个记录），
 
并且μi 是其第i个元素的期望值, 即, μi = E(Xi)。协方差矩阵被定义的第i，j项是如下协方差：
 
即：
 
 
矩阵中的第(i,j)个元素是Xi与Xj的协方差。这个概念是对于标量随机变量方差的一般化推广。
尽管协方差矩阵很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。这个方法在统计学中被称为主成分分析(principal components analysis)，在图像处理中称为Karhunen-Loève 变换(KL-变换)。
-----------------------------------
 
马氏距离是由印度统计学家马哈拉诺比斯(P. C. Mahalanobis)提出的，表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是它考虑到各种特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，因为两者是有关联的）并且是尺度无关的(scale-invariant)，即独立于测量尺度。对于一个均值为协方差矩阵为Σ的多变量向量,其马氏距离为
 
马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为Σ的随机变量与的差异程度:
 
如果协方差矩阵为单位矩阵,那么马氏距离就简化为欧式距离,如果协方差矩阵为对角阵,则其也可称为正规化的欧氏距离'.
 
其中σi 是 xi 的标准差.