generalized linear model, GLM

首先解释一下指数分布族的概念。如果某个概率分布能够表示这种指数形式：

例如假设某个伯努利分布Ber(fai): P(y=1;fai) = fai，这里fai表示数学符号...

取，则，所以伯努利分布是指数分布族的特例。

指数分布族还包括常见的高斯分布、指数分布、伽马分布、泊松分布等。

现在来看一下广义线性模型的三个设计决策(或者说假设)：

(1)给定输入X、theta，我们假定要预测的变量Y服从指数分布族，即 y|X,theta ~ Exp Family()

(2)给定X，我们的学习算法的目标是输出E[T(y)|X]，

(3)，即和输入特征的关系是线性的，并且它们之间的关系由theta确定。通常是一个实数。

广义线性模型实际上是线性模型的扩展，通过联结函数g()(link function)，建立响应变量Y的数学期望值与观察变量的线性组合P之间的关系。我们在设计的时候只需要关注于如何对输出变量Y做适合的概率分布假设，不用考虑其它的细节。

来看一下逻辑回归模型的设计方法，其实它就是服务伯努利分布的广义线性模型。

在这里，，为链接函数。(链接函数的标准定义是取g，使得，在伯努利分布中，Y的期望刚好等于)

至于参数theta可以考虑用最大似然进行估计。