67、模式识别中的统一熵理论与生物特征识别基础

模式识别中的统一熵理论与生物特征识别基础

1. 模式识别中的统一熵理论

1.1 特征空间与类别空间的相对熵

在模式识别里，学习和识别过程都涉及特征空间与类别空间的关系，相对熵能清晰描述这些关系。
- 类条件特征熵 ：类条件特征熵 (H (F |E )) 定义为 (H (F |E ) = -\sum_{i=1}^{n}\int_{R^N} p (X, ω_i) \log_2 p (X |ω_i ) dX)。它表示特定类别下的平均特征熵。若特征与类别紧密相关，(H (F |E )) 会变小，这些特征利于识别；反之，若特征与类别关联较弱，(H (F |E )) 会变大，会对识别造成不利影响。可以证明 (H (F |E ) \leq H (F))，当特征和类别无关时，(p (X |ω_i ) = p (X))，(i = 1, 2, \cdots, n)，此时 (H (F |E ) = H (F))。对于高斯特征分布，(p (X |ω_i ) = \frac{1}{(2\pi)^{\frac{N}{2}} |\Sigma_i|^{\frac{1}{2}}} \exp\left(-\frac{1}{2} (X - M_i)^T \Sigma_i^{-1} (X - M_i)\right))，其中 (M_i = E {X_i})，(\Sigma_i = E[(X_i - M_i) (X_i - M_i)^T])，(i = 1, 2, \cdots, n)，高斯离散类条件特征熵 (H (F |E ) = \sum_{i=1}^{n} P (ω_i) h (F |ω_i ) = \frac{1}{2 \ln 2} \left(N + N \ln 2\pi + \su