常用的度量准则

本文介绍了多种度量准则,包括距离(欧式、闵可夫斯基、马氏距离)、相似度(余弦相似度、互信息、相关系数)、分布差异(KL散度、JS距离、MMD、A-distance、Wasserstein Distance)以及独立性检验(希尔伯特-斯密特独立性系数),这些概念广泛应用于概率论和机器学习领域。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、常见的几种距离

(1)欧式距离

定义在两个向量(空间中的两个点)上:点 x 和点 y 的欧式距离为:
d E u c l i d e a n = ( x − y ) T ( x − y ) d_{Euclidean}=\sqrt{( \bold{x} -\bold{y})^T(\bold{x}-\bold{y})} dEuclidean=(xy)T(xy)
(2)闵可夫斯基距离

两个向量(点)的 p 阶距离:
d M i n k o w s k i = ( ∣ ∣ x − y ∣ ∣ p ) 1 p d_{Minkowski}=(||\bold{x}-\bold{y}||^p)^{\frac{1}{p}} dMinkowski=(xyp)p1
当 p=1 时就是曼哈顿距离,当 p=2 时就是欧式距离。

(3)马氏距离

定义在两个向量(两个点)上,这两个数据在同一个分布里。点 x 和点 y 的马氏距离为:
d M a h a l a n o b i s = ( x − y ) T Σ − 1 ( x − y ) d_{Mahalanobis}=\sqrt{(\bold{x}-\bold{y})^T \varSigma^{-1}(\bold{x}-\bold{y})} dMahalanobis=(xy)TΣ1(xy)
其中,Σ为这个分布的协方差,当Σ=Ι 时,马氏距离退化为欧式距离。

2、余弦相似度

衡量两个向量的相关性(夹角的余弦)。向量x,y的余弦相似度为:
c o s ( x , y ) = x ⋅ y ∣ x ∣ ⋅ ∣ y ∣ cos(\bold{x},\bold{y})= \frac{\bold{x} \cdot \bold{y}}{|\bold{x}| \cdot |\bold{y}|}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值