指数族分布

指数族分布

定义

Exponential Families of Distributions。指数族分布包括高斯分布、伯努利分布、二项分布、泊松分布、Beta 分布、Gamma 分布等一系列分布。

指数族分布指具有如下特定形式的概率分布的参数集合：
$$p_X(x\mid \theta )=h(x)exp[\eta (\theta )\cdot T(x)-A(\theta )]$$
其中，$T(x)、h(x)、\eta (\theta )、A(\theta )$ 是已知函数，也就是说只有参数 $\theta$ 未知。$\theta$ 称为族的参数。$A(\theta )$也叫 log partition-function（log配分函数）。

也有其它等效形式：
$$p_X(x\mid \theta )=h(x)g(\theta )exp[\eta (\theta )\cdot T(x)]$$
或：
$$p_X(x\mid \theta )=exp[\eta (\theta )\cdot T(x)-A(\theta )+B(x)]$$

或
$$\begin{array}{rl}{p}_X(x\mid \theta )& =h(x)exp[\eta (\theta )\cdot T(x)]\cdot exp[-A(\theta )]\\ & =\frac{1}{exp[A(\theta )]}h(x)exp[\eta (\theta )\cdot T(x)]\end{array}$$

配分函数

$$p(x|\theta )=\frac{1}{z}\hat{p}(x|\theta )z\text{是归一化因子,跟x没有关系}$$

配分函数是一个归一化的函数，目的使函数积分值为1。
$$\begin{gathered} \int p(x|\theta )dx=\int \frac{1}{z}\hat{p}(x|\theta )dx=1 \\ z=\int \hat{p}(x|\theta )dx \end{gathered}$$
$A(\theta )$ 其实是这么来的：
$$\begin{gathered} p(x|\theta )=\frac{1}{exp[A(\theta )]}h(x)exp[\eta (\theta )\cdot T(x)] \\ \int p(x|\theta )dx=\int \frac{1}{exp[A(\theta )]}h(x)exp[\eta (\theta )\cdot T(x)]dx=1 \end{gathered}$$
所以，
$$A(\theta )=\log \int h(x)exp[\eta (\theta )\cdot T(x)]dx$$

充分统计量

就是 $T(x)$，统计量就是关于样本的一个函数，充分就表示该统计量包含了表示样本总体特征。有这个充分统计量，就可以不用考虑样本，这样的好处是节省空间。比如高斯分布的充分统计量就是均值和方差，这样通过计算样本的均值和方差进而得到其明确的分布。

共轭

指数族分布常常具有共轭的性质。共轭先验使得先验和后验的形式一样，便于计算。

什么是共轭？

我们先看贝叶斯公式
$$p(z|x)=\frac{p(x|z)p(z)}{{\int }_{z}p(x|z)p(z)dz}$$
后验 $p(z|x)$，由于分母上的积分是比较难求的，所以直接求后验是比较困难的。共轭的意思就是给定特殊的似然 $p(x|z)$ 下，后验 $p(z|x)$ 和先验 $p(z)$ 会形成相同的分布。那计算上就不用求分母那么复杂的积分了。

例如，如果似然 $p(x|z)$ 为二项分布，$p(z)$ 为Beta分布，那么后验分布也为 $p(z|x)$ 也为Beta分布。即 $p(z|x)\propto p(x|z)p(z)$。

最大熵

指数族分布满足最大熵原理。

什么是最大熵？

首先信息熵的定义：
$$\begin{gathered} H(p)=\int -p(x)\log p(x)dx(\text{连续}) \\ H(p)=-\sum _{n=1}^{N}p(x)\log p(x)dx(\text{离散}) \end{gathered}$$
假设数据是离散的，对一个离散随机变量x，有 $n$ 个特征，其概率为 $p_n$ ，现在要求最大的信息熵，那么最大熵可以表示成一个约束优化问题：
max ⁡ { H ( p ) } = min ⁡ { ∑ n = 1 N p n log ⁡ p n } s . t . ∑ n = 1 N p n = 1 \max\{H(p)\}=\min\{\sum_{n=1}^N p_n\log p_n\}\quad s.t. \sum_{n=1}^N p_n=1 max{H(p)}=min{n=1∑N​pn​logpn​}s.t.n=1∑N​pn​=1
这种熟悉的约束优化问题呢，我们可以利用拉格朗日乘子法来求解，
$$L(p,\lambda )=\sum _{n=1}^N{p}_n\log p_n+\lambda (1-\sum _{n=1}^N{p}_n)$$
求导下，
$$\begin{gathered} \frac{\partial L}{\partial p_n}=\log p_n+1-\lambda =0 \\ ⟹p_n=exp(\lambda -1) \end{gathered}$$

$\lambda$是常数，所以 ${\hat{p}}_1={\hat{p}}_2=...={\hat{p}}_n=\frac{1}{N}$

可以发现离散条件下， $ p_n$ 服从均匀分布的时候熵最大。也就是说，离散条件下，随机变量在无信息先验下的最大熵分布就是均匀分布。

那当我们有部分数据集时，即可以从数据集中获得一些先验知识，比如经验分布 $\hat{p}(x)=\frac{count(x)}{N}$，可以进一步计算得其经验期望：
$$E_{\hat{p}}[f(x)]=\Delta$$
那么我们可以把这些先验知识也加进约束。于是最大熵为
max ⁡ { H ( p ) } = min ⁡ { ∑ x p ( x ) log ⁡ p ( x ) } s . t . ∑ n = 1 N p n = 1 , E p ^ [ f ( x ) ] = Δ \max\{H(p)\}=\min\{\sum_x p(x)\log p(x)\}\quad s.t. \sum_{n=1}^N p_n=1,E_{\hat{p}}[f(x)]=\Delta max{H(p)}=min{x∑​p(x)logp(x)}s.t.n=1∑N​pn​=1,Ep^​​[f(x)]=Δ

还是应用拉格朗日乘子法，
$$L(p,{\lambda }_0,\lambda )=\sum _{n=1}^{N}p(x_n)\log p(x_n)+{\lambda }_0(1-\sum _{n=1}^N{p}_n)+{\lambda }^T(\Delta -E_{\hat{p}}[f(x)])$$

求导，
∂ ∂ p ( x ) L = ∑ n = 1 N ( log ⁡ p ( x ) + 1 ) − ∑ n = 1 N λ 0 − ∑ n = 1 N λ T f ( x ) = 0 ⟹ p ( x ) = e x p { λ 0 − 1 + λ T f ( x ) } \begin{aligned} \dfrac{\partial }{\partial p(x)}L&=\sum_{n=1}^N(\log p(x)+1)-\sum_{n=1}^N\lambda_0-\sum_{n=1}^N\lambda^Tf(x)=0\\ &\Longrightarrow p(x)=exp\{\lambda_0-1+\lambda^Tf(x)\} \end{aligned} ∂p(x)∂​L​=n=1∑N​(logp(x)+1)−n=1∑N​λ0​−n=1∑N​λTf(x)=0⟹p(x)=exp{λ0​−1+λTf(x)}​
这是一个指数族分布。在满足既定事实的条件下，随机变量对应的最大熵分布是一个指数族分布。

几种指数族分布

下面介绍常见的几种指数族分布。

高斯分布

若随机变量 $X$ 服从一个均值为 $\mu$，方差为 $\sigma$ 的高斯分布，记为：$X\sim N(\mu ,{\sigma }^2)$

其概率密度函数为：
$$f(x\mid \mu ,\sigma )=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
写成指数形式：
f ( x ∣ μ , σ ) = 1 2 π e x p { μ σ 2 x − 1 2 σ 2 x 2 − 1 2 σ 2 μ 2 − l o g σ 2 2 } f(x\mid \mu,\sigma)=\dfrac{1}{\sqrt{2\pi}}exp\{\dfrac{\mu}{\sigma^2}x-\dfrac{1}{2\sigma^2}x^2-\dfrac{1}{2\sigma^2}\mu^2-\dfrac{log\sigma^2}{2}\} f(x∣μ,σ)=2π ​1​exp{σ2μ​x−2σ21​x2−2σ21​μ2−2logσ2​}
变量服从高斯分布时，独立一定不相关，不相关一定独立。

相关性反应的实际上是一种线性关系，而独立性则反映的是更为一般的线性无关性。

伯努利分布

写成指数形式：
f ( x ∣ π ) = π x ( 1 − π ) 1 − x = e x p { x l o g ( π 1 − π ) + l o g ( 1 − π ) } f(x\mid \pi)=\pi^x(1-\pi)^{1-x}=exp\{xlog(\dfrac{\pi}{1-\pi})+log(1-\pi) \} f(x∣π)=πx(1−π)1−x=exp{xlog(1−ππ​)+log(1−π)}

泊松分布与指数分布

泊松分布表达式：

• $X\sim P(\lambda ),\lambda =\overline{X}$
• $P(X=k)=\dfrac{\lambda ^k}{k!}e{-\lambda} $
• $E(X)=\lambda$

写成指数形式：
p ( x ∣ λ ) = 1 x ! e x p { x l o g λ − λ } p(x\mid \lambda)=\dfrac{1}{x!}exp\{xlog\lambda-\lambda \} p(x∣λ)=x!1​exp{xlogλ−λ}
泊松过程：引入时间段，t

• 公式：$P(X=k,t)=\dfrac{(\lambda t)^k}{k!}e{-\lambda t} $

指数分布表达式：

• $Y\sim Exp(\lambda )$
• $E(Y)=\frac{1}{\lambda }$

由分布函数：$F(y)=P(Y\le y)=\{\begin{array}{ll}1-e^{-\lambda y}& y⩾0\\ 0& y<0\end{array}$ ,

求导可得概率密度函数，也就是指数分布：
$$p(y)=\{\begin{array}{ll}\lambda e^{-\lambda y}& y⩾0\\ 0& y<0\end{array}$$
写成指数形式：
p ( y ∣ λ ) = λ e − λ y = e x p { − λ y + l o g ( λ ) } p(y\mid \lambda)=\lambda e^{-\lambda y}=exp\{-\lambda y+log(\lambda)\} p(y∣λ)=λe−λy=exp{−λy+log(λ)}
指数分布和几何分布一样具有无记忆性。

伽马分布

写成指数形式：
f ( x ∣ k , θ ) = 1 Γ ( k ) θ k x k − 1 e − x θ = e x p { ( k − 1 ) l o g ( x ) − x θ − k l o g ( θ ) − l o g Γ ( k ) } f(x\mid k,\theta)=\dfrac{1}{\Gamma(k)\theta^k}x^{k-1}e^{\frac{-x}{\theta}}=exp\{(k-1)log(x)-\dfrac{x}{\theta}-klog(\theta)-log\Gamma(k) \} f(x∣k,θ)=Γ(k)θk1​xk−1eθ−x​=exp{(k−1)log(x)−θx​−klog(θ)−logΓ(k)}

参考

1. 机器学习白板推导系列课程
2. 指数族分布|机器学习推导系列（九） - 简书 (jianshu.com)