23、统计分类方法：参数分类与广义线性判别

统计分类方法：参数分类与广义线性判别

1. 参数分类基础

在参数分类中，有几个重要的期望等式：
- (E{|p - \hat{p}|} = O (1/\sqrt{n}))
- (E{|\hat{m}_i - m_i|} = O (1/\sqrt{n}))
- (E{|\hat{\alpha}_i - \alpha_i|} = O (1/\sqrt{n}))

当计算 (E {|\eta_n(X) - \eta(X)|}) 时，会发现 (E{L(g_n)} - L^ = O (1/\sqrt{n}))；而计算 (E {|\eta(X) - \hat{\eta}| I(g_n(X)\neq g^ (x))}) 时，(E{L(g_n)} - L^* = O (1/n))。这表明虽然参数收敛速率由中心极限定理决定为 (O (1/\sqrt{n}))，且 (\eta_n) 以相同速率在 (L_1(\mu)) 中收敛到 (\eta)，但判别错误率要小得多。

2. 最小距离估计

最小距离估计是一种比最大似然法更适合插件分类规则的参数估计原则。以下是其详细介绍：
- 原理 ：设 (\mathcal{P} \theta = {P \theta : \theta \in \Theta}) 是一个参数分布族，(P_{\theta^ }) 是独立同分布观测 (Z_1, \cdots, Z_n) 的未知分布，(V_n) 为经验测度。定义距离度量 (D(\cdot, \cdot))，(\theta^ ) 的最小距离估计为 (\theta_n =