33、类别重叠与Cramer - Rao界分析

类别重叠与Cramer - Rao界分析

1. 类别重叠的形式化描述

在分类问题的研究中，类别之间的重叠情况对于理解分类的准确性和局限性至关重要。我们引入一种形式化方法，从类别总体、均值和协方差的重叠与非重叠部分来描述类别之间的重叠情况。这种重叠理论有助于直观地解释后续得到的Cramer - Rao界（CRB）。

在监督分类中，类别均值的CRB是椭球体，无监督学习中也是如此。不过，CRB椭球体的形状和大小取决于类别之间重叠的几何形状。类别之间重叠越大，关联误差越大，CRB也越大。若某个类别与其他类别无重叠，该类别的CRB就简化为单类别或完全监督情况下的CRB。

为简化讨论，我们不区分类别和类型，用单个索引k表示类别/类型，对参数的期望值和估计值使用相同的符号{rk, Mk, Ck}。下面将通过不同阶的类似张量的量来刻画重叠情况。

1.1 重叠矩阵

重叠矩阵Okk′定义为观测值xn属于类别k和k′的模糊关联（贝叶斯概率）乘积的期望值：
[O_{kk’} \equiv E{f (k|n) \cdot f (k’|n)}]
其中，f (k|n)是数据n属于类别k的概率，满足(\sum_{k} f (k|n) = 1)。

对于非重叠类别，Okk′是对角矩阵：
[O_{kk’}| {NO} = \delta {kk’}r_k]
这是因为在非重叠情况下，f (k|n)等于0或1，所以(f (k|n)^2 = f (k|n))，且(E{f (k|n)} \equiv \int f (k|n) pdf(x_n) dx_n = \int r_k \cdot pdf(x_n|