19、图像与模式聚类算法解析

图像与模式聚类算法解析

1. 贝叶斯误差与詹森 - 香农散度

贝叶斯误差与詹森 - 香农散度之间存在一定的边界关系，具体由以下方程表示：
[
\frac{1}{4(M - 1)}(H(Y) - JSp(y_i)[p(x|y_i)])^2 \leq P_{Bayes}(e) \leq \frac{1}{2}(H(Y) - JSp(y_i)[p(x|y_i)])
]
其中，对于 (M) 个分布 (p_i(x))，每个分布具有先验概率 (\Pi_i)（(1 \leq i \leq M)），詹森 - 香农散度的定义为：
[
JS_{\Pi}[p_1, p_2, \ldots, p_M] = H\left(\sum_{i = 1}^{M} \Pi_i p_i(x)\right) - \sum_{i = 1}^{M} \Pi_i H[p_i(x)]
]
此外，詹森 - 香农散度还与互信息相关：
[
JSp(y_1, \ldots, p(y_M)[p(x|y_i), \ldots, p(x|y_M)] = H\left(\sum_{i = 1}^{M} p(y_i)p(x|y_i)\right) - \sum_{i = 1}^{M} p(y_i)H[p(x|y_i)] = H(X) - H(X|Y) = I(X; Y)
]

2. AIB 算法

2.1 算法原理

AIB 算法从初始状态 (|T| = |X|) 开始，通过贪心准则每次选择合并两个聚类，直到所有样本被压缩到一个聚类中。在这个过程中，应用了硬聚类约束。

给定一个将 (X) 划分为