指数族分布与相关性质（1） 定义、联合分布、微分性质

引言

指数族分布具有许多优良的性质。许多常见的概率分布都可以归为指数族分布。

1.1 典型形式s参数指数族分布

$$p_{\eta }(x)=exp[\sum _{i=1}^s{\eta }_i{T}_i(x)-A(\eta )]h(x)$$

其中，$A(\eta )$起到了归一化的作用。$h(x)$是从$R^n$到$R$的非负函数参数$\eta$的取值范围称为自然参数空间，定义为{η:A(η)<∞}\{\eta:A(\eta)< \infin\}{η:A(η)<∞}.此时，指数族分布由$\eta$参数化，这种参数化方式的指数族分布称为s-parameter exponential family in canonical form.

$A(\eta )$的定义是:
$$A(\eta )=log\int exp[\sum _{i=1}^s{\eta }_i{T}_i(x)]h(x)d\mu (x)$$
其中，$\mu$是${\mathbb{R}}^s$上的测度。

这些$T$实际上是统计量，数学上严格地说是从${\mathbb{R}}^n$到$\mathbb{R}$上的可测函数。

1.2 另一种参数化

$$p_{\theta }(x)=exp[\sum _{i=1}^s{\eta }_i(\theta )T_i(x)-B(\theta )]h(x)$$

这种用$\theta$参数化，使得$\eta$是$\theta$的函数。这种形式的指数族分布称为s-parameter exponential family.正态分布、伯努利分布等都属于指数族分布。

1.3 联合分布

若$X_1,\cdots ,X_n\sim i.i.d.P_{\theta }(x)$，则联合密度是
$$p_{\theta }(X_1,\cdots ,X_n)=exp(\sum _{i=1}^s{\eta }_i(\theta )(\sum _{j=1}^n{T}_i(x_j))-nB(\theta ))\prod _{j=1}^{n}h(x_j)$$
仍然是一个s-parameter的指数族分布。

2.性质

指数族分布具有许多良好的性质。对于典型形式(canonical form)的指数族分布来说，可以联系统计量$T_1,\cdots ,T_s$的矩和累积量与$A(\eta )$的导数之间的关系。

2.1 可微性

典型形式指数族分布有一个重要定理：令${\Xi }_f$是$\eta \in {\mathbb{R}}^s$的一个集合，使得
$$\int |f(x)|exp[\sum _{i=1}^s{\eta }_i{T}_i(x)]h(x)d\mu (x)<\infty$$
则
$$g(\eta )=\int f(x)exp[\sum _{i=1}^s{\eta }_i{T}_i(x)]h(x)d\mu (x)$$
是连续的，并且在${\Xi }_f$的内点存在无穷阶连续偏导。进一步的，微分号可以和积分互换位置。

利用上面的定理，可以推导下面的结果：$f=1$时，观察到$g(\eta )=e^{A(\eta )}=\int exp[{\sum }_{i=1}^s{\eta }_i{T}_i(x)]h(x)d\mu (x)$.

对第二个等式的两侧同时对典型形式的指数族分布的参数${\eta }_j$同时求导，得到
$$e^{A(\eta )}\frac{\partial A(\eta )}{\partial {\eta }_j}=\int T_j(x)exp[\sum _{i=1}^s{\eta }_i{T}_i(x)]h(x)d\mu (x)$$
左右两边同时除以$e^{A(\eta )}$，就得到
$$\begin{gathered} \frac{\partial A(\eta )}{\partial {\eta }_j}=\int T_j(x)p_{\eta }(x)d\mu (x) \\ ={\mathbb{E}}_{\eta }[T_j(x)] \end{gathered}$$
因此，发现统计量$T_j$的一阶矩就是$A(\eta )$对${\eta }_j$的导数。

2.2 控制收敛定理

上面谈到，对于$g(\eta )=A(\eta )$进行微分时，可以把微分提到积分号里面去，这并不是一个显然的性质。这一小节我们来说明这件事情。

控制收敛定理：令$f_n,n\ge 1$是一个函数列，且对 $\forall n\ge 1$，有$|f_n|<g(a.e.\mu )$。若$\int gd\mu <\infty$，且对于$a.e.x$在测度$\mu$下有${\lim }_{n\to \infty }{f}_n(x)=f(x)$，则当$n\to \infty$时有
$$\int f_{n}d\mu \to \int fd\mu$$
下面要说明对于$g(\eta )$来说，微分可以提到积分号里面。为简便，设$s=1$，则
$$g(\eta )=e^{A(\eta )}=\int e^{\eta T(x)}h(x)d\mu (x)$$
设$\eta \in [-2ϵ,2ϵ]$时积分有限，考虑$g(\eta )$在$\eta =0$处的导数，有
$$\begin{array}{rl}\underset{n\to \infty }{\lim }\frac{e^{ϵ/n}-e^{A(0)}}{ϵ/n}& =\underset{n\to \infty }{\lim }\int \frac{e^{ϵT(x)/n}-1}{ϵ/n}d\mu (x)\\ & =\underset{n\to \infty }{\lim }\int f_n(x)d\mu (x)\end{array}$$
进一步的，由下面两个不等式，$\forall t\in R$：
$$\begin{gathered} |e^t-1|\le |t|e^{|t|} \\ |t|\le e^{|t|} \end{gathered}$$

$$|\frac{e^{ϵT(x)/n}-1}{ϵ/n}|\le \frac{|ϵT(x)|}{ϵ}{e}^{|ϵT(x)|}\le \frac{1}{ϵ}(e^{2ϵT(x)}-e^{-2ϵT(x)})$$

这里面不停的放缩，以及用小技巧去掉了绝对值。

由此，等式左侧乘以$h(x)$就是$|f_n(x)|$。注意$h(x)$是个非负的量，这是指数族分布定义中阐述的。而等式左侧也乘以$h(x)$，定义为$g(x)$。容易发现，等式右侧是积分有限的，因为
$$\int (e^{2ϵT(x)}-e^{-2ϵT(x)})h(x)d\mu (x)=e^{A(2ϵ)}+e^{A(-2ϵ)}$$
而指数族分布定义时已经表明$A(\eta )<\infty$，因此，积分有限。故等式满足控制收敛定理，左侧可以表达为函数列的积分的极限等于函数列极限的积分。因此，导数作为作为一种极限，就满足了交换的条件。

个人理解，可能有误，请大家指正。