机器学习数学原理（2）——广义线性模型

机器学习数学原理（2）——广义线性模型

这篇博文主要介绍的是在机器学习中的回归问题以及分类问题中的一个非常具有概括性的模型：广义线性模型（Generalized Linear Models，简称GLMs），这类模型包括了回归问题中的正态分布，也包含了分类问题中的伯努利分布。随着我们的分析我们会发现，广义线性模型不仅可以导出Logistics回归，也可以导出Softmax回归。

1.指数族

在导出模型之前，先得介绍一下指数族（The exponential family）。

1.1 指数族定义

先给出指数族分布的定义式：

• η：自然参数（natural parameter）
• T(η)：充分统计量（sufficient statistic）
• a(η)：对数配分函数（log partition function）
• b(η)：系数函数

由这个形式我们可以看出，只要我们确定了T，a，b函数的具体形式，分布就变成了一个由η参数化确定的分布。很多我们常见的分布，比如伯努利分布、正态分布都可以写成指数族的形式，下面笔者便写写如何将这些分布转化为指数分布的形式。

1.2 常见指数族

由上述的分析我们可以知道，要想把分布写成指数族的形式就需要确定分布的T，a，b函数。

1.2.1 伯努利分布

伯努利分布是一个二值分布，y只能取1或者0。伯努利分布可以写成如下形式：

p(y=1;φ)=φ

p(y=0;φ)=1-φ

将这个式子更加简练的书写便成了下面的形式