机器学习---背后数学原理--指数族分布

最新推荐文章于 2024-12-01 22:40:22 发布
原创 最新推荐文章于 2024-12-01 22:40:22 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

本文深入探讨了指数族分布的三大特性及其在高斯分布中的应用，解析了充分统计量、共轭及最大熵模型的概念。通过极大似然估计和最大熵角度，阐述了在等可能情况下的熵最大化原则。

文章目录


事实上，我们之前学的很多种概率分布都是指数族分布。
在这里插入图片描述

指数族分布公式

在这里插入图片描述
在这里插入图片描述

指数族分布三大特性与三个模型

在这里插入图片描述

充分统计量

在这里插入图片描述

共轭

在这里插入图片描述

最大熵

在这里插入图片描述

模型

在这里插入图片描述

将高斯分布写成指数族分布形式

在这里插入图片描述

对数配分函数 A ( η ) A(\eta ) A(η) 与充分统计量之间的关系

在这里插入图片描述

将这个定理带入到 高斯分布（一种指数族分布）里面，看是否成立
在这里插入图片描述

极大似然估计求参数 与 充分统计量 之间的关系

在这里插入图片描述
在这里插入图片描述

最大熵角度

在这里插入图片描述

为什么在等可能的情况下（均匀分布），熵最大

在这里插入图片描述
在没有任何已知的情况下，均值分布的熵最大
总结是：
在这里插入图片描述

最大熵原理

在这里插入图片描述

机器学习强基计划9-1：图解匹配追踪(MP)与正交匹配追踪(OMP)算法
FRIGIDWINTER的博客
06-19 2748
本文串讲字典学习的基本概念：字典学习、稀疏表示、稀疏编码，并介绍了稀疏编码的两种经典算法——匹配追踪MP与正交匹配追踪OMP算法的基本原理
分布式 | DBLE 分片算法之 hash 分片
ActionTech的博客
11-02 784
作者：赵红杰 DBLE 项目测试负责人，主导分布式中间件的测试，在测试中不断发现产品和自身的 bug。迭代验证，乐在其中。 本文来源：原创投稿 *爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 背景 社区有大佬分享过跳增 hash 的文章，但是当时并不理解跳增 hash 使用的场景。刚接触分布式数据库中间件 dble 的时候，最迷惑的概念之一是 hash 分片算法。看到哈希，第一印象是散列表，感觉是存储相关的。hash 一个重要的特征是需要不同输入产生不同输出，但是在分片.
机器学习笔记之指数族分布——指数族分布介绍
静静的学习就好
08-08 3714
本节及后续小节将从指数族分布 → 熵、最大熵原理 → sigmoid,softmax函数的思路进行介绍。
机器学习笔记之指数族分布
qq_54372519的博客
11-30 1239
机器学习笔记之指数族分布 文章目录机器学习笔记之指数族分布背景介绍一维高斯分布改写指数分布形式对数配分函数与统计量的关系极大似然估计与充分统计量最大熵角度看指数族分布 背景介绍 ​ 指数族分布是一类分布，包括高斯分布，伯努利分布，二项分布，泊松分布，Beta分布，Dirichlet 分布，Gamma分布等等，指数族分布的标准形式为 X∣η=h(x)exp(ηTϕ(x)−A(η))=1exp(A(η))h(x)exp(ηTϕ(x)) X|\eta=h(x)exp(\eta^T\phi(x)-A(\eta))
指数族分布(Exponential Families of Distributions)
deye1979的专栏
05-07 723
指数族分布是一大类分布，基本形式为： T(x)是x的充分统计量（能为相应分布提供足够信息的统计量） 为了满足归一化条件，有： 可以看出，当T(x)=x时，e^A(theta)是h(x)的拉普拉斯变换。 指数族分布的例子： 伯努利分布转换成指数族分布形式： 单变量高斯分布的： 多变量高斯分布的： A（theta）的一阶导： A（t...
指数分布族
热门推荐
saltriver的专栏
02-14 2万+
从标题上看，是“指数分布族(exponential family)”，不是“指数分布(exponential distribution)”，这是两个不同的概念，不要弄混了。指数分布族在上世纪30年代中期被提出，在概率论和统计学中，它是一些有着特殊形式的概率分布的集合，包括许多常用的分布，如正态分布、指数分布、伯努利分布、泊松分布、gamma分布、beta分布等等。指数分布族为很多重要而常用的概率分
《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》-学习笔记（8）：降维
Morganfs的博客
05-08 1880
· Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition, by Aurélien Géron (O’Reilly). Copyright 2019 Aurélien Géron, 978-1-492-03264-9. · 《机器学习》周志华 · 环境：Anaconda（Python 3.8） + Pycharm · 学习时间：2022.05.07~2022.05.08 第八章 降维 许多机器学习问.
Q-Learning算法原理与实现详解
本文围绕“Q-Learning算法详解[项目代码]”这一主题，深入剖析该算法的核心思想、数学原理、更新机制、实际实现方式以及其在真实项目中的应用路径。 首先，Q-Learning的核心思想在于构建一个称为Q-table（Q表）的...
【聚类算法的数学原理】：K-means与ISODATA背后的数学模型
[【聚类算法的数学原理】：K-means与ISODATA背后的数学模型](https://www.learnbymarketing.com/wp-content/uploads/2015/01/method-k-means-steps-example.png) # 摘要 本文对聚类算法及其在数据挖掘中的应用进行...
机器学习-股票
小壁虎的春天
12-09 1483
1. 原理 什么是机器学习？ 随着计算机技术的发展，投资者不再只局限于传统投资策略，机器学习在资本市场得到广泛应用。机器学习的核心是通过机器模仿人类的思考过程以及思维习惯，通过对现有数据的学习，对问题进行预测和决策。目前，机器学习已在人脸识别、智能投顾、自然语言处理等方面得到广泛应用。 机器学习可以分为两类，一类是无监督学习，另一类是监督学习。监督学习是指按照已有的标记进行学习，即已经有准确的分类信息。比如二分类问题，一类是“好”，另一类是“不好”，这种明确地指出分类基准的问题。这类模型包括：神经网络
指数族分布
小菜羊的博客
08-27 3340
本文主要介绍指数族分布
指数族分布（Exponential Family Distribution）详解及其应用: 中英双语
最新发布
阿正的梦工坊
12-01 2233
This article introduces the background, properties, and real-world applications of exponential family distributions, illustrated through examples such as univariate and multivariate Gaussian distributions, Dirichlet distribution, and Wishart distribution.
8 深入了解：指数族分布
cengjing12的博客
05-26 5211
1 背景 指数族是一类分布，包括高斯分布、伯努利分布、二项分布、泊松分布、Beta 分布、Dirichlet 分布、Gamma 分布等一系列分布。指数族分布可以写为统一的形式： p(x∣η)=h(x)exp⁡(ηTϕ(x)−A(η))=1exp⁡(A(η))h(x)exp⁡(ηTϕ(x)) p(x|\eta)=h(x)\exp(\eta^T\phi(x)-A(\eta))=\frac{1}{\exp(A(\eta))}h(x)\exp(\eta^T\phi(x)) p(x∣η)=h(x)exp(ηTϕ(x)
指数分布族和广义线性模型
weixin_44852067的博客
04-09 1314
指数族分布 (The exponential family distribution),区别于指数分布（exponential distribution)。指数分布族不是专指一种分布，而是一系列符合特征的分布的统称。在概率统计中，若某概率分布满足下式，我们就称之属于指数族分布。py;py;θbyexpηθTy−Aθ其中，η\etaη是分布的自然参数(nature parameter)；TyT(y)
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值