指数分布族（The Exponential Family）与广义线性模型（GLM，Generalized Linear Models）

参考：http://www.cnblogs.com/BYRans/p/4735409.html

在逻辑回归模型中我们假设：

在分类问题中我们假设：

他们都是广义线性模型中的一个例子，在理解广义线性模型之前需要先理解指数分布族。

指数分布族（The Exponential Family）
定义：如果一个分布可以用如下公式表达，那么这个分布就属于指数分布族：

公式中y是随机变量；h(x)称为基础度量值（base measure）；

其中：
η称为分布的自然参数（natural parameter），也称为标准参数（canonical parameter）；
T(y)称为充分统计量（sufficient statistics），通常T(y)=y；
a(η)称为对数分割函数（log partition function）；
本质上是一个归一化常数，确保概率和为1。
当T(y)被固定时，a(η)、b(y)就定义了一个以η为参数的一个指数分布。我们变化η就得到这个分布的不同分布（distribution）。

伯努利分布属于指数分布族。伯努利分布均值为φ，写为Bernoulli(φ)，是一个二值分布，y ∈ {0, 1}。所以p(y = 1; φ) = φ; p(y = 0; φ) = 1 − φ。当我们变化φ就得到了不同均值的伯努利分布。伯努利分布表达式转化为指数分布族表达式过程如下：

其中，

并且
η=log(φ/(1-φ))
φ=1/(1+e^-η)——这刚好还是logit的那个式子，logit本来也是一个二分类问题

高斯分布也属于指数分布族，推导过程如下：

其中：

许多其他分部也属于指数分布族，例如：伯努利分布（Bernoulli）、高斯分布（Gaussian）、多项式分布（Multinomial）、泊松分布（Poisson）、伽马分布（Gamma）、指数分布（Exponential）、β分布、Dirichlet分布、Wishart分布。

广义线性模型（GLMs）
在分类和回归问题中，我们通过构建一个关于x的模型来预测y。这种问题可以利用广义线性模型（Generalized linear models，GMLs）来解决。构建广义线性模型我们基于三个假设，也可以理解为我们基于三个设计决策，这三个决策帮助我们构建广义线性模型：

Assume：
（1）

（2）Assume：

（3）Given x → Target：h(x)=E[T(y)|x]
Usually T(y)=y，so Given x → Target：h(x)=E[y|x]
Eg:
在逻辑回归中期望值是φ，因此目标函数h是φ=1/(1+e^-η)；
在线性回归中期望值是μ，而高斯分布中μ=η，结合（2），因此线性回归中目标函数

假设有一个预测问题：基于特征商店促销活动、最近的广告、天气、星期几等特征x，来预测商店在任一小时内的顾客数目y。
根据概率知识可知，x、y符合泊松分布。泊松分布属于指数分布族，我们可以利用上面的3个假设，构建一个广义线性模型来进行构建预测模型。

GLMs构建Logistic回归

逻辑回归可以用于解决二分类问题，而分类问题目标函数y是二值的离散值，y∈{0,1}。根据统计知识，二分类问题可以选择伯努利分布来构建模型。
在伯努利分布的指数分布族表达式中我们已知：η=log(φ/(1-φ)), φ=1/(1+e^-η)

根据GLMs三个假设：
（1）y|x;θ~Bernouli（φ），Exp Family；

（2）

（3）hθ(x)=E[y|x]=φ=1/(1+e^-η)=1/(1+e^-θTx)

接下来的工作就由梯度下降或牛顿方法来完成θ的确定……
所以logit回归选择Sigmoid函数的原因就是基于GLMs理论吧……