广义线性模型（Generalized Linear Models）

指数分布族（The Exponential Family）

  如果一个分布可以用如下公式表达，那么这个分布就属于指数分布族：

  

    公式中y是随机变量；h(x)称为基础度量值（base measure）；

    η称为分布的自然参数（natural parameter），也称为标准参数（canonical parameter）；

    T(y)称为充分统计量，通常T(y)=y；

    a(η)称为对数分割函数（log partition function）；

    本质上是一个归一化常数，确保概率和为1。

    当T(y)被固定时，a(η)、b(y)就定义了一个以η为参数的一个指数分布。我们变化η就得到这个分布的不同分布。

 

    伯努利分布属于指数分布族。伯努利分布均值为φ，写为Bernoulli(φ)，是一个二值分布，y ∈ {0, 1}。所以p(y = 1; φ) = φ; p(y = 0; φ) = 1 − φ。当我们变化φ就得到了不同均值的伯努利分布。伯努利分布表达式转化为指数分布族表达式过程如下：

    

    其中，