指数分布族的特性与推导-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_44618103/article/details/104784610

指数分布族的相关性质证明

有些东西，不自己推一遍还真的很难说自己掌握了。

指数分布族的一般形式

指数族分布满足以下一般形式，其中 $a(\phi),b(\theta),c(x,\phi)$ 为函数，随分布函数的不同而异：
$f\left(x ; \theta, \phi\right)=\exp \left[\frac{x \theta-b\left(\theta\right)}{a(\phi)}+c\left(x, \phi\right)\right]$

引论：Moment Function

矩母函数定义如下：
$M_X(t)=\mathbb{E}\left(e^{tX}\right)$
如果对其进行求导的话，我们能够得到：（其中第二个等式是由于期望的线性性得到的）
$\frac{\partial M_X(t)}{\partial t}=\frac{\partial}{\partial t} \mathbb{E}\left(e^{tX}\right)= \mathbb{E}\left(\frac{\partial \exp(tX)}{\partial t}\right)=\mathbb{E}\left(Xe^{tX}\right)$
同样的结论可以推广到 $n$ 阶导，因此可以求出这个分布的所有 $n$ 阶矩：
$\frac{\partial^{(n)} M_X(t)}{\partial t^{(n)}}=\mathbb{E}\left(X^{n}e^{tX}\right)$

指数分布族的矩母函数

根据定义：
$M_X(t)=\mathbb{E}\left(e^{tX}\right)=\int_{-\infty}^{+\infty}\exp \left[\frac{x \theta-b\left(\theta\right)}{a(\phi)}+c\left(x, \phi\right)\right]\times \exp(tx)dx$
合并指数部分：
$M_X(t)=\int_{-\infty}^{+\infty}\exp \left[\frac{\left(\theta+a\left(\phi\right)t\right)x-b\left(\theta\right)}{a(\phi)}+c\left(x, \phi\right)\right]dx$
因为只要满足指数族分布的一般形式，这个函数就是一个 $p d f$ ，因此在这里，我们的目标在于将这个积分化为指数分布族形式，这里令 $\tilde \theta=\theta+a\left(\phi\right)t$ 。（注意：这里是不影响对 $x$ 的积分的）
$\begin{aligned}M_X(t)&=\int_{-\infty}^{+\infty}\exp \left[\frac{\tilde \theta x-\left(b(\tilde\theta)-b(\tilde \theta)\right)-b\left(\theta\right)}{a(\phi)}+c\left(x, \phi\right)\right]dx\\&=\int_{-\infty}^{+\infty}\exp\left[\frac{b(\tilde \theta)-b\left(\theta\right)}{a(\phi)}\right]\times\exp \left[\frac{\tilde \theta x-b(\tilde\theta)}{a(\phi)}+c\left(x, \phi\right)\right]dx\end{aligned}$
将前面一项不影响积分的乘出来，然后积分符号里剩下的就是一个指数分布族的 $p d f$ ： $f(x,\tilde \theta, \phi)$ 。
$\begin{aligned}M_X(t)&=\exp\left[\frac{b(\tilde \theta)-b\left(\theta\right)}{a(\phi)}\right]\times\int_{-\infty}^{+\infty} f(x,\tilde \theta,\phi)dx\\&=\exp\left[\frac{b(\tilde \theta)-b\left(\theta\right)}{a(\phi)}\right]\end{aligned}$

指数分布族相关统计量（期望、方差）

Expectation

根据之前提到的矩母函数的相关性质，可以通过链式法则求导求取其均值：
$\begin{aligned}\mathbb{E}\left(X\right)&=\frac{\partial M_X(t)}{\partial t}\Bigg|_{t=0}=\frac{a(\phi)\times b'(\theta+a\left(\phi\right)t)}{a(\phi)}\times\exp\left[\frac{b(\theta+a\left(\phi\right)t)-b\left(\theta\right)}{a(\phi)}\right]\Bigg|_{t=0}\\&=b'(\theta)\end{aligned}$
对期望来说，我们能够得到一个一般形式。即：对所有满足指数分布族形式的 $p d f$ 的随机变量而言，都有：
$\mathbb{E}\left(X\right)=b'(\theta)$

Variance

要求取方差，我们需要这个分布的二阶矩（我这里直接顺着期望求得的一阶导往下求）：
$\begin{aligned}\mathbb{E}\left(X^2\right)&=M_X''(t)\Big|_{t=0}\\=&\left\{b'(\theta+a\left(\phi\right)t)\times\exp\left[\frac{b(\theta+a\left(\phi\right)t)-b\left(\theta\right)}{a(\phi)}\right]\right\}'\Bigg|_{t=0}\\=&a(\phi)\times b''(\theta+a(\phi)t)\times\exp\left[\frac{b(\theta+a\left(\phi\right)t)-b\left(\theta\right)}{a(\phi)}\right]\Bigg|_{t=0}\\&+\left(b'(\theta+a\left(\phi\right)t)\right)^2\times\exp\left[\frac{b(\theta+a\left(\phi\right)t)-b\left(\theta\right)}{a(\phi)}\right]\Bigg|_{t=0}\\=&a(\phi)\times b''(\theta)+b'(\theta)^2\\=&a(\phi)\times b''(\theta)+\mathbb{E}\left(X\right)^2\end{aligned}$
因此对所有 $p d f$ 满足指数分布族形式的随机变量的期望为：
$\mathbb{Var}\left(X\right)=\mathbb{E}\left(X^2\right)-\mathbb{E}\left(X\right)^2=a(\phi)\times b''(\theta)$