指数族分布（2）：矩母函数、累积量生成函数

指数族分布（2）

指数族分布（1）：
[https://blog.youkuaiyun.com/RSstudent/article/details/127465224?spm=1001.2014.3001.5501]

典型形式指数族分布在矩、累积量的计算方面存在方便之处，包括期望、方差。

定义：令$T\in {\mathbb{R}}^s$，Moment generating function（MGF） of $T$定义为
$$M_T(u)=E[e^{uT}]$$
累计生成函数CGF：
$$K_T(u)=log{M}_T(u)$$
引理:

如果MGF$M_X(u)$和$M_Y(u)$对于随机向量$X$和$Y$有限 ,且一致在某个非空集合的内点$u$，则$P_X=P_Y$

$T_1,\cdots ,T_s$的幂次的期望称为$T$的矩
$${\alpha }_{r_1,r_2,\cdots ,r_s}=E[T_1^{r_1}\times T_2^{r_2}\times \cdots \times T_s^{r_s}]$$
通过在$u=0$点求取MGF的导数，可以获得这些矩。

定理1

若$M_T$在远点的某个邻域内有限，且在原点具有个各阶连续导数
$${\alpha }_{r_1,r_2,\cdots ,r_s}=\frac{{\partial }^{r_1}}{\partial u_1^{r_1}}\cdots \frac{{\partial }^{r_s}}{\partial u_s^{r_s}}{M}_T(u){|}_{u=0}$$
这是矩，相应的$K_T(u)$的导数称为累积量
$${\kappa }_{r_1,r_2,\cdots ,r_s}=\frac{{\partial }^{r_1}}{\partial u_1^{r_1}}\cdots \frac{{\partial }^{r_s}}{\partial u_s^{r_s}}{K}_T(u){|}_{u=0}$$
当$s=1$的时候，$K_T^{{}^{\prime }}=(log{M}_T{)}^{\prime }=\frac{M_T^{\prime }}{M_T}$,以及$K_T^{\prime \prime }=\frac{M_T^{\prime \prime }{M}_T-M_T^{\prime 2}}{M_T^2}$

可以发现，取导数在$u=0$，就
$$M_T^{{}^{\prime }}=E[T{e}^{uT}]$$

$$M_T^{\prime }=E[e^{uT}]$$

$${\kappa }_1=K_T^{\prime }{|}_{u=0}=\frac{E[T]}{E[1]}=E[T]$$

$$M_T^{\prime \prime }=E[T^2{e}^{uT}]$$

$${\kappa }_2=E[T^2]-E[T{]}^2=Var(T)$$

定理2

设$X$和$Y$是独立随机变量。若$X$和$Y$均为正的，或者$E|X|$和$E|Y|$有限（Fubini定理条件），则
$$E[XY]=E[X]E[Y]$$
利用上述定理，可以将上面的结论拓展到$n$个随机向量的和的情况。

设$T=Y_1,\cdots ,Y_n$，且$Y_i\in {\mathbb{R}}^s$的独立变量。由于
$$M_T(u)=E[e^{u_1{Y}_1}\times \cdots \times e^{u_n{Y}_n}]$$
利用定理2，
$$(12)=M_{Y_1}(u)\times \cdots \times M_{Y_n}(u)$$
考虑累积量生成函数，取对数
$$K_T(u)=K_{Y_1}(u)+\cdots +K_{Y_n}(u)$$
因此，$T$的累积量就等于相应的$Y_1,\cdots ,Y_n$的累积量之和。

考察典型形式指数族分布的矩母函数MGF，
$$\begin{array}{rl}{E}_{\eta }{e}^{uT(X)}& ={\int }_x{e}^{uT(x)}{e}^{\eta T(x)-A(\eta )}h(x)d\mu (x)\\ & =e^{A(u+\eta )-A(\eta )}{\int }_x{e}^{(u+\eta )T(x)-A(u+\eta )}h(x)d\mu (x)\end{array}$$
发现后面凑成了一个典型形式指数族分布，积分为1.因此，典型形式指数族分布的矩母函数的表达式为
$$e^{A(u+\eta )-A(\eta )}$$
对应的累积量生成函数为
$$A(u+\eta )-A(\eta )$$
利用定理1，对$u$求导并使之等于0：
$$\begin{array}{r}\frac{\partial (A(u+\eta )-A(\eta ))}{\partial u}{|}_{u=0}=\frac{\partial A(u+\eta )}{\partial (u+\eta )}{|}_{u=0}=\frac{\partial A(\eta )}{\partial (\eta )}\end{array}$$
依此类推，
$${\kappa }_{r_1,r_2,\cdots ,r_s}=\frac{{\partial }^{r_1}}{\partial {\eta }_1^{r_1}}\cdots \frac{{\partial }^{r_s}}{\partial {\eta }_s^{r_s}}{K}_T(\eta )$$

对于指数族分布来说，考虑当$s=1$的时候。由累积量生成函数和矩母函数之家牛的关系，$M=e^K$，进而
$$M^{\prime }=K^{\prime }{e}^K{M}^{\prime \prime }=K^{\prime \prime }{e}^K+(K^{\prime }{)}^2{e}^K$$
在0处取值，则$E[T]=k_1,E[T^2]=k_2+k_1^2$