指数族分布基础

指数族分布

如果一类分布可以写成如下形式，则它可以叫做 *指数族分布*  (exponential family distributions) 。

$$p(y;\eta )=b(y)exp({\eta }^{T}T(y)-a(\eta ))$$

其中$\eta$ 是自然参数（也叫canonical parameter）, $T(y)$ 是充分统计量（通常$T(y)=y$）, $a(\eta )$ 为对数分布函数，$e^{-a(\eta )}$ 起着归一化常数的作用，使得概率分布$p(y;\eta )$ 在 $y$ 和 1 之间求和或者求积分。

如果分布中的 $T,a,b$ 固定，当 $\eta$ 改变时，将在这个家族中获得不同的分布。

伯努利分布（也叫两点分布，0-1分布）和高斯分布都属于指数族分布。下面介绍一下原因。

1. 伯努利分布

$\begin{array}{rl}p(y;\varphi )& ={\varphi }^y(1-\varphi {)}^{1-y}\\ & =\exp \left(\ln \left({\varphi }^y(1-\varphi {)}^{1-y}\right)\right)\\ & =\exp (y\ln (\varphi )+(1-y)\ln (1-\varphi ))\\ & =\exp \left(y\ln \left(\frac{\varphi }{1-\varphi }\right)+\ln (1-\varphi )\right)\end{array}$

对应公式（1），可得：
$$b(y)=1,T(y)=y;\eta =ln\frac{\varphi }{1-\varphi },a(\eta )=-ln(1-\varphi )=ln(1+e^{\eta })$$

2. 高斯分布

因为 $p(y;u)$ 中没有${\sigma }^2$所以我们令 ${\sigma }^2=1$ 。
$\begin{array}{rl}p(y;\mu )& =\frac{1}{\sqrt{2\pi }}\exp \left(-\frac{1}{2}(y-\mu {)}^2\right)\\ & =\frac{1}{\sqrt{2\pi }}\exp \left(-\frac{1}{2}{y}^2\right)\exp \left(\mu y-\frac{1}{2}{\mu }^2\right)\end{array}$
对应公式（1），可得：
$$b(y)=\frac{1}{\sqrt{2\pi }}exp(-\frac{1}{2}{y}^2),T(y)=y;\eta =\mu ,a(\eta )={\mu }^2/2={\eta }^2/2$$

3.泊松分布

$\begin{array}{rl}p(y;\lambda )& =\frac{{\lambda }^y{e}^{-\lambda }}{y!}\\ & =\exp \left(\ln \frac{{\lambda }^y{e}^{-\lambda }}{y!}\right)\\ & =\exp (y\ln (\lambda )-\lambda -\ln (y!))\\ & =\frac{1}{y!}\exp (y\ln (\lambda )-\lambda )\end{array}$

对应公式（1），可得：
$b(y)=\frac{1}{y!},T(y)=y;\eta =ln(\lambda ),a(\eta )=\lambda =e^{\eta }$

泊松分布族是指数型分布族吗？
斯坦福机器学习课程Lecture 1（cs229-notes1）