指数分布族

最新推荐文章于 2024-12-01 22:40:22 发布
最新推荐文章于 2024-12-01 22:40:22 发布
阅读量1.1k 收藏 2
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43045873/article/details/93149873

点击上方“大数据与人工智能”，“星标或置顶公众号”

第一时间获取好内容

640?wx_fmt=gif

640?wx_fmt=png


作者丨stephenDC

这是作者的第10篇文章



在《Pattern Recognition and Machine Learning》一书的第2章第4节，作者Bishop对指数分布族进行了非常全面系统的讲解。


本文绝大部分都可以看做是原文的直接翻译，部分加入了自己的思考，有些公式推导可能与原文略有不同。本人自认不能写的更好，因此手头有这本书的读者朋友，建议去看原文。

 

我们为什么要研究指数分布族呢？


主要有两个原因：一是因为指数分布族所包含的各种概率分布非常常用；二是指数分布族具有很好的性质，非常好用。


下文先给出指数分布族的定义，然后举出指数分布族的三个常见的实例，最后说明指数分布族的极大似然估计、充分统计量、共轭先验和无信息先验等性质。



  • 指数分布族的定义


640?wx_fmt=png



  • 三个实例


下面我们证明，伯努利分布，多项式分布和高斯分布，都可以写成以上定义的形式。


640?wx_fmt=png


640?wx_fmt=png

640?wx_fmt=png


640?wx_fmt=png

640?wx_fmt=png

 


  • 极大似然估计


640?wx_fmt=png


640?wx_fmt=png



  • 充分统计量


640?wx_fmt=png

 （点击上图可跳转去阅读《极大似然估计、极大后验估计和贝叶斯估计》原文）


  • 共轭先验


640?wx_fmt=png

 


  • 无信息先验


640?wx_fmt=png


640?wx_fmt=png


640?wx_fmt=png

640?wx_fmt=png


 


640?wx_fmt=png

小结

640?wx_fmt=png


读到这里，不妨思考一个问题，指数分布族为什么要这样定义？

篇幅有限，有兴趣的同学，欢迎评论区交流。



-end-

 



相关阅读

在线抽奖活动中如何实现中奖概率的自适应调整  

罗素的理发师和奥卡姆剃刀

机器学习中的维度灾难

集成学习之如何由弱变强

极大似然估计、极大后验估计和贝叶斯估计

稀疏核机（上）—SVM回顾

稀疏核机（中）-核方法

稀疏核机（下）—稀疏性

机器学习中常用的几个概率不等式及证明


640?wx_fmt=png

指数族分布
小菜羊的博客
08-27 3278
本文主要介绍指数族分布
广义线性模型之指数分布族期望和方差的推导
Yanggeya1的博客
12-23 8103
广义线性模型（一）——指数分布族指数分布族（ Linear Exponential Family)指数分布族的期望与方差证明 最近接触机器学习，学到广义线性模型。 由于广义线性模型在精算领域的运用比较广泛。顾从本篇博客开始，对广义线性模型做一个探讨，希望大家积极指出本人的问题，或参与探讨。 指数分布族（ Linear Exponential Family) 响应变量 yyy 来自指数分布组，其概率...
指数族分布(Exponential Families of Distributions)
deye1979的专栏
05-07 689
指数族分布是一大类分布，基本形式为： T(x)是x的充分统计量（能为相应分布提供足够信息的统计量） 为了满足归一化条件，有： 可以看出，当T(x)=x时，e^A(theta)是h(x)的拉普拉斯变换。 指数族分布的例子： 伯努利分布转换成指数族分布形式： 单变量高斯分布的： 多变量高斯分布的： A（theta）的一阶导： A（t...
分布式 | DBLE 分片算法之 hash 分片
ActionTech的博客
11-02 726
作者：赵红杰 DBLE 项目测试负责人，主导分布式中间件的测试，在测试中不断发现产品和自身的 bug。迭代验证，乐在其中。 本文来源：原创投稿 *爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 背景 社区有大佬分享过跳增 hash 的文章，但是当时并不理解跳增 hash 使用的场景。刚接触分布式数据库中间件 dble 的时候，最迷惑的概念之一是 hash 分片算法。看到哈希，第一印象是散列表，感觉是存储相关的。hash 一个重要的特征是需要不同输入产生不同输出，但是在分片.
统计学习II.7 广义线性模型1 指数分布族
一个不愿透露姓名的博客
01-18 660
统计学习II.7 广义线性模型1 指数分布族指数分布族的定义指数分布族的例子Bernoulli分布Multinoulli分布一元正态分布指数分布族的性质指数分布族的MLE指数分布族的贝叶斯方法指数分布族的最大熵方法 这一部分介绍广义线性模型，这是一类监督学习方法，通常用来构造分类器等。考虑{(Xi,Yi)}i=1N\{(X_i,Y_i)\}_{i=1}^N{(Xi​,Yi​)}i=1N​，广义线性模型通常假设YiY_iYi​服从某种指数分布族。因此这一部分先介绍指数分布族，然后介绍基于不同指数分布族导出的
08 指数分布族1
08-04
8指数族分布P1 1概在知识补充充分统计量充分统计量比17 hnexpyj AMxikMM5217参数向量XERPAGibgpartitionfunction后
机器学习第三讲-指数分布族与广义线性模型
weixin_44818956的博客
10-29 512
(3条消息) 【理解】似然函数_yzy_1996的博客-优快云博客_似然函数 详解。2.广义线性模型Generalized Linear Models。1.指数分布族 exponential family。参考这个博主：我觉得写的很清晰，比较容易理解。一文秒懂概率分布 - 知乎 (zhihu.com)3.概率和似然的理解。
加权平衡损失下一类单参数指数分布族参数估计的可容许性 (2011年)
05-06
在这篇2011年的学术论文中，作者李中恢探讨了加权平衡损失函数下的一类单参数指数分布族参数估计的可容许性问题。本篇内容主要围绕统计学中的参数估计理论，特别是与指数分布族相关的参数估计，并从贝叶斯估计角度...
机器学习笔记之指数族分布——指数族分布介绍
静静的学习就好
08-08 3429
本节及后续小节将从指数族分布 → 熵、最大熵原理 → sigmoid,softmax函数的思路进行介绍。
指数分布族和广义线性模型
weixin_44852067的博客
04-09 1212
指数族分布 (The exponential family distribution),区别于指数分布（exponential distribution)。指数分布族不是专指一种分布，而是一系列符合特征的分布的统称。在概率统计中，若某概率分布满足下式，我们就称之属于指数族分布。py;py;θbyexpηθTy−Aθ其中，η\etaη是分布的自然参数(nature parameter)；TyT(y)
8 深入了解：指数族分布
cengjing12的博客
05-26 5007
1 背景 指数族是一类分布，包括高斯分布、伯努利分布、二项分布、泊松分布、Beta 分布、Dirichlet 分布、Gamma 分布等一系列分布。指数族分布可以写为统一的形式： p(x∣η)=h(x)exp⁡(ηTϕ(x)−A(η))=1exp⁡(A(η))h(x)exp⁡(ηTϕ(x)) p(x|\eta)=h(x)\exp(\eta^T\phi(x)-A(\eta))=\frac{1}{\exp(A(\eta))}h(x)\exp(\eta^T\phi(x)) p(x∣η)=h(x)exp(ηTϕ(x)
指数分布族 和 广义线性模型
咸鱼的博客
04-25 4983
本节主要是我看了网易公开课上的Andrew Ng的机器学习公开课第四节所做的笔记加上自己的一些整理，将它发上来供参考，由于水平有限，可能有错误。这节视频中，Andrew Ng主要讲了三个方面，分别是牛顿法，指数分布家族和广义线性回归（GLMS）。本节介绍的指数分布函数主要是为广义线性回归所服务的。 牛顿法与梯度法一样，是一种常见的迭代优化方法。牛顿法在接近收敛值时呈指数收敛，表现性质很优良，但是
指数族分布（Exponential Family Distribution）详解及其应用: 中英双语
阿正的梦工坊
12-01 1659
This article introduces the background, properties, and real-world applications of exponential family distributions, illustrated through examples such as univariate and multivariate Gaussian distributions, Dirichlet distribution, and Wishart distribution.
【机器学习 | 核心技术】常见指数分布族详解，确定不来看看？
计算机魔术师的blog
11-30 1628
本系列旨在普及那些深度学习路上必经的核心概念，文章内容都是博主用心学习收集所写，欢迎大家三联支持！本系列会一直更新，核心概念系列会一直更新！欢迎大家订阅。
指数分布族(Exponential Family)相关公式推导及在变分推断中的应用
热门推荐
qy20115549的博客
02-14 2万+
本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。 未经本人允许禁止转载。 文章目录指数分布族的概念典型分布转化Bernoulli分布Poisson分布Gaussian分布多元Gaussian分布Multinomial分布变分推断应用参考内容 指数分布族的概念 指数分布族是一系列分布的统称，包含连续和离散的相关分布。例如，正太分布...
指数分布族 广义线性模型
最新发布
12-31
### 关于指数分布族与广义线性模型的关系 在统计学领域，广义线性模型（GLM）提供了一种灵活的方法来建模响应变量 \(y\) 与其预测因子之间的关系。不同于经典的线性回归假定误差项遵循正态分布，在广义线性框架下，\(y\) 可以来自更广泛的概率分布——即所谓的指数分布族[^1]。 #### 定义与特性 指数分布族是一类能够被表达成特定参数化形式的概率密度或质量函数集合。这类分布具有统一的数学结构，允许通过调整自然参数 \(\eta\) 来适应不同的实际应用场景。具体来说，当给定输入特征向量 \(x\) 后，目标变量 \(y| x; \theta\) 被认为是从某个具体的指数型分布中抽取出来的样本[^4]。 对于某些常见的离散和连续数据类型，如计数资料、比例数据以及生存时间等，都存在相应的成员归属于此大家庭之中： - **伯努利分布**用于描述只有两种可能结果的现象； - **泊松分布**适用于处理事件发生次数的数据集； - **高斯/正态分布**则是衡量连续数值型测量值的标准工具之一[^2]； 这些特殊的案例展示了如何利用不同类型的指数分布构建适合各自特点的广义线性模型实例[^3]。 ### 应用场景举例 考虑到上述提到的各种情况，下面给出几个基于指数分布族建立起来的具体应用例子： 1. 对于二分类问题，可以选择逻辑斯特回归作为解决方案，此时所依据的就是伯努利分布。 ```r glm(formula = outcome ~ ., family = binomial(), data = dataset) ``` 2. 当面对的是非负整数计数时，则可采用泊松回归来进行分析，它依赖于泊松分布的特点。 ```r glm(formula = count_variable ~ predictors, family = poisson(link="log"), data=dataset) ``` 3. 若研究对象涉及连续性的度量指标，并且满足近似常态的要求的话，那么传统的最小二乘法下的多元线性回归实际上就是一种特殊情况下的广义线性模型，这里的基础便是高斯分布。 ```r lm(formula = continuous_response ~ covariates, data = dataframe) ``` 综上所述，通过对各种不同类型的实际问题选用恰当的指数分布成员并将其融入到广义线性模型当中去，可以有效地提高模型拟合效果及其解释能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据与智能

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值