【DL经典回顾】距离度量大汇总（28-点间互信息（Pointwise Mutual Information, PMI））

【DL经典回顾】距离度量大汇总（28-点间互信息（Pointwise Mutual Information, PMI））

在深入探讨深度学习（DL）时，我们常常会发现，有些基础概念虽小，却影响深远。距离度量就是这样一个看似简单，实则至关重要的概念。它是机器学习和深度学习中不可或缺的一环，影响着模型的性能和应用的广泛性。在本专栏中，我们将进行一次深度的探索，回顾距离度量的各种方法，并理解它们的重要性和应用。

一、点间互信息（Pointwise Mutual Information, PMI）

1. 定义和公式

点间互信息（Pointwise Mutual Information, PMI）是一种信息论的度量，用于衡量两个事件共同发生的概率与这两个事件独立发生的概率的乘积之比。它主要用来衡量在特定数据集中，两个事项（如单词、标签、状态等）之间的相关性程度。PMI的定义是：

PMI ⁡ ( x , y ) = log ⁡ ( p ( x , y ) p ( x ) p ( y ) ) \operatorname{PMI}(x, y)=\log \left(\frac{p(x, y)}{p(x) p(y)}\right