指数分布族

从标题上看，是“指数分布族(exponential family)”，不是“指数分布(exponential distribution)”，这是两个不同的概念，不要弄混了。指数分布族在上世纪30年代中期被提出，在概率论和统计学中，它是一些有着特殊形式的概率分布的集合，包括许多常用的分布，如正态分布、指数分布、伯努利分布、泊松分布、gamma分布、beta分布等等。指数分布族为很多重要而常用的概率分布提供了统一框架，这种一般性有助于表达的方便和从更大的宏观尺度上理解这些分布。

下面我们用一个重要分布的例子来说明下指数分布族。假设有一个正态分布，均值为0，服从$X-N(0,\sigma ^{2})$，则其概率密度函数PDF为：

$$f(x|\sigma)=\frac{1}{\sigma \sqrt {2\pi}}e^{-\frac{x^2} {2\sigma^2}}$$

这个概率密度函数由一个参数$\sigma$来定义。我们可以把该式子作如下变形：

$$f(x|\sigma)=\frac{1}{\sqrt {2\pi}}e^{-log\sigma}e^{-\frac{x^2} {2\sigma^2}}=\frac{1}{\sqrt {2\pi}}e^{-\frac{x^2} {2\sigma^2}-log\sigma}=\frac{1}{\sqrt {2\pi}}e^{-\frac{1} {2\sigma^2}x^2-log\sigma}$$

令：$h(x)=\frac {1} {\sqrt {2\pi}}$，$\eta(\sigma)=-\frac{1} {2\sigma^2}$，$T(x)=x^2$，$A(\sigma)=log\sigma$；则上式可以用如下的形式表达：

$$f(x|\sigma)=h(x)exp(\eta(\sigma)T(x)-A(\sigma))$$

我们把参数一般化为$\theta$，则上式为：

$$f(x|\theta)=h(x)exp(\eta(\theta)T(x)-A(\theta))$$

这就是指数分布族的概率密度函数PDF或概率质量函数PMF的通用表达式框架。

分布函数框架中的$h(x)$,$\eta(\theta)$,$T(x)$和$A(\theta)$并不是任意定义的，每一部分都有其特殊的意义。
$\theta$是自然参数(natural parameter)，通常是一个实数；
$h(x)$是底层观测值（underlying measure）；
$T(x)$是充分统计量（sufficient statistic）；
$A(\theta)$被称为对数规则化（log normalizer）。
为什么被称为对数规则化，和对数有什么关系？我们把上式作以下变形：

$$f(x|\theta)=\frac {h(x)exp(\eta(\theta)T(x))} {exp(A(\theta))}$$

两边同乘以$exp(A(\theta))$，得到：

$$exp(A(\theta))f(x|\theta)=h(x)exp(\eta(\theta)T(x))$$

两边同时积分，得到：

$$\int exp(A(\theta))f(x|\theta)dx=\int h(x)exp(\eta(\theta)T(x))dx$$
$$exp(A(\theta))\int f(x|\theta)dx=\int h(x)exp(\eta(\theta)T(x))dx$$
根据概率密度函数PDF的定义，$\int f(x|\theta)dx=1$，因此整理上式得到：
$$exp(A(\theta))=\int h(x)exp(\eta(\theta)T(x))dx$$
则：
$$A(\theta)=ln\int h(x)exp(\eta(\theta)T(x))dx$$
我们再看看泊松分布的例子，根据泊松分布的概念，其概率质量函数PMF为：
$$f(x|\lambda)=\frac {e^{-\lambda}\lambda^ {x}} {x!}$$
改写上式，我们可以得到：
$$f(x|\lambda)=\frac {e^{-\lambda}\lambda^ {x}} {x!}=\frac{1}{x!}e^{-\lambda}e^{ln\lambda^{x}}=\frac{1}{x!}e^{xln\lambda-\lambda}$$
令$\theta=\lambda$，$h(x)=\frac{1}{x!}$，$\eta(\theta)=ln\lambda$，$T(x)=x$，$A(\theta)=\lambda$，则泊松分布也可以表示成：
$$f(x|\theta)=h(x)exp(\eta(\theta)T(x)-A(\theta))$$
因此，泊松分布也属于指数分布族。