9、图像检索中的相似性度量方法

图像检索中的相似性度量方法

在图像检索等领域，准确衡量不同数据之间的相似性至关重要。以下将介绍多种相似性度量方法及其特点、应用场景。

1. Kullback–Leibler 散度（KL 散度）

KL 散度起源于信息论和概率论，也被称为信息增益、信息散度或相对熵。它用于计算两个概率分布 $P$ 和 $Q$ 之间的差异。

• 离散随机变量情况 ：
• 定义为 $D_{KL}(P \parallel Q) = \sum_{y} P(y) \log \frac{P(y)}{Q(y)}$。
• 连续随机变量情况 ：
• 定义为 $D_{KL}(P \parallel Q) = \int_{-\infty}^{+\infty} P(x) \log \frac{P(x)}{Q(x)} dx$。

KL 散度是一种非负的距离度量，其值为 0 时表示 $P(i) = 0$；当 $P(i) \neq 0$ 且 $Q(i) = 0$ 时，值为无穷大，意味着两个概率分布完全不同。不过，KL 散度不是概率分布空间上的距离度量，因为它不满足对称性（$D_{KL}(P \parallel Q) \neq D_{KL}(Q \parallel P)$）和三角不等式。但它在计算机视觉和模式识别等领域有广泛应用，因为人类对视觉相似性的感知可能是非度量的，且非度量距离函数对异常值和噪声数据具有鲁棒性。

为了用于聚类拓扑应用，J. Lin 在 1991 年提出了 KL 散度的对称变体——Jensen–Shannon 散度（J