广义线性模型(Generalized Linear Models, GLM)

本文探讨了指数分布族的概念,包括伯努利、高斯等常见分布,并介绍如何通过广义线性模型(GLMs)解决分类问题,如逻辑回归和softmax回归。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.youkuaiyun.com/isMarvellous/article/details/51146478

1. 指数分布族

  首先,我们先来定义指数分布族(exponential family),如果一类分布可以写成如下的形式,那么它就是属于指数分布族的:

p(y;η)=b(y)exp(ηTT(y)a(η))p(y;η)=b(y)exp(ηTT(y)−a(η))
将会是二维的)。高斯分布也写成指数分布族的形式,推导是这样的:
  这里写图片描述
  它与指数分布族的对应关系为:
  这里写图片描述
  上面我们展示了伯努利和高斯分布,实际上,还有multinomial(后面将会谈到),泊松分布,gamma和指数分布,beta和狄里克雷分布等等都是属于指数分布族的。怎么样,这个广义线性模型还是有两下子的的,原来我们前面讨论的分类都可以统一为指数分布族的形式。但这还不够,我们怎么从指数分布族中推出我们想要的东西呢?下面我们就来看一看怎样通过构造广义线性模型来解决实际问题。

2. 构造GLMs

  现在我们来把之前的分类问题扩展一下。生活中的很多事物肯定不止一个种类,我们来考虑多类别的分类问题,讨论一下如何利用GLMs来解决。
  首先,和之前一样,我们构造模型都是有一定的条件的。我们先来作三个假设:
  1. y|x;θExpoentialFamily(η)y|x;θ∼ExpoentialFamily(η)
  如果我们的问题需要满足这三个假设,那么我们就可以通过构造广义线性模型来解决。线性回归和逻辑回归都是满足这三个假设的,就可以使用这个模型。

2.1 普通的最小平方(Ordinary Least Squares)问题

  在线性回归的最小平方问题中,目标变量y(在GLM的术语中也称作响应变量(response variable))是连续的,给定x,y的条件分布符合我们刚刚讨论过的高斯分布,均值为μμ。所以,我们可以得到线性回归的假设函数就是:
这里写图片描述
这样,我们就从广义线性模型的角度得到了线性回归的解决方案。

2.2 逻辑回归

  在二元分类问题中,给定x,y服从我们刚才讨论的伯努利分布,均值为ϕϕ,被称为canonical link function

2.3 Softmax Regression

  好了,铺垫了这么久,我们终于可以考虑我们的多类别分类的问题了,我们首先用multinomial distribution来给它建立模型。假设我们的类别y{1,2,,k}y∈{1,2,…,k}值,就大功告成了!
  

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值