机器学习算法之：指数族分布与广义线性模型

原创

已于 2022-10-08 09:43:37 修改 · 1.5w 阅读

47 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #算法 #逻辑回归

于 2015-09-03 20:45:50 首次发布

本文介绍了指数族分布，包括伯努利分布和高斯分布的指数族形式，并详细阐述了广义线性模型（GLM）的概念。通过三个基本假设，展示了如何将逻辑回归和最小二乘法纳入GLM框架，解释了逻辑回归的预测概率公式来源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考NG的lecture note1 part3
本文将首先简单介绍指数族分布，然后介绍一下广义线性模型（generalized linear model, GLM), 最后解释了为什么逻辑回归（logistic regression, LR) 是广义线性模型的一种。

指数族分布

指数族分布 (The exponential family distribution),区别于指数分布（exponential distribution)。在概率统计中，若某概率分布满足下式，我们就称之属于指数族分布。
$p(y;η)=b(y)exp⁡(ηTT(y)−a(η))p(y;\eta)=b(y)\exp(\eta^T T(y)-a(\eta))$

其中 $η\eta$ 是natural parameter, $T (y)$ 是充分统计量, $exp⁡−a(η))\exp^{-a(\eta))}$ 是起到归一化作用。确定了 $T, a, b$ ,我们就可以确定某个参数为 $η\eta$ 的指数族分布.
统计中很多熟悉的概率分布都是指数族分布的特定形式，如伯努利分布，高斯分布，多项分布（multionmal), 泊松分布等。下面介绍其中的伯努利分布和高斯分布。

伯努利分布
$p(y;ϕ)=ϕy(1−ϕ)1−y=exp[ylog⁡ϕ+(1−y)log⁡(1−ϕ)]=exp[ylog⁡ϕ1−ϕ+log(1−ϕ)]p(y;\phi)=\phi^y (1-\phi)^{1-y} \\=exp[y\log\phi+(1-y)\log(1-\phi)] \\=exp[y\log \frac{\phi}{1-\phi}+log(1-\phi)]$