8、经典系统中的参数估计与信息论方法

经典系统中的参数估计与信息论方法

1. 经典系统中的估计问题

在经典系统里，概率分布族 ${p_{\theta}|\theta \in R}$ 若为指数族，$p_{\theta}(\omega)$ 可由特定公式（2.127）借助 $X$ 给出，而待估计的参数是期望参数 $\eta(\theta)$。围绕此有一系列的证明问题：
- 证明估计量 $X$ 是期望参数的无偏估计 ：需证明在指数族（2.127）下，估计量 $X$ 满足无偏性的条件。
- 推导关系 ：要说明从条件 2 可推出条件 1。
- 确定自然参数与期望参数的关系 ：对于指数族（2.127），证明自然参数 $\theta$ 可表示为期望参数 $\eta$ 的函数 $\theta = \int_{0}^{\eta} J_{\eta’} d\eta’$。
- 证明特定等式 ：证明 $\mu(\theta(\eta)) = \int_{0}^{\eta} \eta’J_{\eta’} d\eta’$。
- 等式推导 ：若条件 1 成立，证明 $\frac{l_{\eta}}{J_{\eta}} = X - \eta$。
- 概率密度导数推导 ：若条件 1 成立，证明 $\frac{dp_{\eta}}{d\eta} = J_{\eta}(X - \eta)p_{\eta}$。
- 条件证明 ：若条件 1 成立，证明条件 2 也成立。 <