从折棍子（Stick Breaking）模型到狄利克雷过程（DP）

最新推荐文章于 2025-06-09 07:50:41 发布
最新推荐文章于 2025-06-09 07:50:41 发布
阅读量1.2w 收藏 37
点赞数 7
CC 4.0 BY-SA版权
分类专栏： 专业 文章标签： DP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sysuhu/article/details/54287684
本文介绍了折棍子（Stick Breaking）过程，通过定义变量序列βi，利用Beta分布来逐步截取棍子并形成概率分布πi。接着探讨了分布函数G的定义，以及在狄利克雷过程中如何用概率测度描述单点采样的概率特性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

折棍子（Stick Breaking）过程

先定义一个变量序列 β1,β2,...,βi,... ，其中， βi∼Beta(1,α)
根据 Beta 分布的性质， 0<βi<1,(i=1,2,...)
然后折棍子（Stick Breaking）过程就来了：
有一根长度为1的根子（Stick）
1)截取这根棍子长度为 β1 的一段，并令 π1 为这一段的长度 β1 ，且棍子剩下的长度为 L1=1−β1 ；
2)截取剩下棍子 L1 长度为 L1β2 的一段，并令

最低0.47元/天 解锁文章

200万优质内容无限畅学
机器学习笔记之狄利克雷过程(三)随机测度的生成过程(折棍子过程)
静静的学习就好
03-02 1158
上一节使用公式推导的方式介绍了狄利克雷过程中标量参数α的极端取值对于生成的随机测度离散程度的影响。本节从随机测度的生成角度对标量参数α与离散程度的关系进行描述。
马尔可夫“折棍子”过程 Markovian Stick-breaking Process 简介
一个不愿透露姓名的博客
06-09 883
马尔可夫“折棍子”过程
Dirichlet Process and Stick-Breaking（DP的Stick-breaking 构造）
qy20115549的博客
03-14 6860
目录Dirichlet Process简介 Stick-Breaking构造Dirichlet Process简介DP是一种非参数贝叶斯模型, 其优点是参数的个数和性质灵活可变, 可通过模型和数据来计算数目, 近年来它已成为机器学习和自然语言处理研究领域中的一个研究热点。举个例子，我们在使用聚类方法k-means时，需要指定k的值(聚成k个簇)；在使用LDA时需要指定主题的数目k，但通过DP过程这种
2025年 GitHub 与 Stack Overflow 中 20 大经典前端 Bug 总结
最新发布
silverclayz的技术分享
06-09 999
《2025年github与stackoverflow》中20大经典前端bug与解决方案大总结，详细列举bug分类，区分初中高级前端的应对时间与troubleshooting能力清单。
马尔可夫“折棍子”过程 Markovian Stick-breaking Process 在直方图平滑中的应用
一个不愿透露姓名的博客
06-11 331
马尔可夫“折棍子”过程 Markovian Stick-breaking Process 在直方图平滑中的应用用Dirichlet prior做Histogram Smoothing用Markovian Stick-breaking Prior做Histogram Smoothing 上一篇介绍了Markovian Stick-breaking Process的构造，这一篇介绍它在非参贝叶斯统计中的一个简单应用——Histogram Smoothing。 用Dirichlet prior做Histogram
狄利克雷混合模型/Stick- breaking模型/非参数先验分布-2021年12月18日
weixin_51879748的博客
12-20 656
DPMM_jupyter_狄利克雷_狄利克雷混合_狄利克雷过程混合模型_clubxdf_DPMM_
10-03
使用狄利克雷过程混合模型（Dirichlet Process Mixture Model）拟合一维和二维的概率分布
variational-dpgmm:变分狄利克雷过程高斯混合模型
06-27
具有高斯混合分量的狄利克雷过程混合模型的变分推理。 基于以下论文： Blei, DM, 和 Jordan, MI (2006)。 Dirichlet 过程混合物的变分推断。 贝叶斯分析，1（1），121-143。
机器学习笔记之狄利克雷过程(一)基本介绍
静静的学习就好
03-01 2489
从本节开始，将介绍狄利克雷过程。
非参数贝叶斯模型、Dirichlet Process，Stick-Breaking
上帝是个娘们的博客
01-14 4555
非参数贝叶斯模型 资料： 非参数贝叶斯模型概述 如何简单易懂地理解贝叶斯非参数模型？ 为了讲清楚什么是非参数贝叶斯模型，先看看下面几个概念： 参数模型 参数模型就是知道总体（随机变量）的分布，但是不知道这个分布的参数，比如知道x服从参数为p的二项分布，因此我们得到x的样本后，要反推回p到底是什么。求解参数模型的常用方法比如最大似然估计（MLE），最大后验估计（MAP）。在参数模型中，常用的已知分布...
狄利克雷分布的三维实现和狄利克雷过程中的stick—breaking算法的实现
u_say2what的博客
11-25 1361
转载请标明作者 首先是狄利克雷分布的三维实现，由于没法保证下面的坐标值加起来唯一，所以我采用了抽样的方法，从dirchidirichlet~（1,1,1）中抽的三维图像的坐标值，我只去前两个作为我的x,y值，代码如下： import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axe...
Dirichlet Process (徐亦达老师)狄利克雷过程
ResumeProject的博客
12-31 2289
混合高斯模型（Mixture of Gaussians，简称GMM）是一种概率模型，用于对复杂的数据分布进行建模。它是由多个高斯分布组合而成的混合模型，每个高斯分布（称为组件）对应数据的一个子群体。混合高斯模型的概率密度函数可以表示为多个高斯分布的线性组合，即每个分布乘以一个相应的权重。Pxi1∑K​πi​⋅Nx∣μi​Σi​其中，K是高斯分布的数量，πi​是对应于第 i 个高斯分布的权重，Nx∣μi​Σi​。
sitck-breaking折棍法理解
qwezhaohaihong
09-15 893
DPMM的理解、公式推导及抽样
qy20115549的博客
09-09 1万+
DPMM学习的基础及相关论文学习DPMM(Dirichlet 过程混合模型)之前，首先要去理解DP过程及其三种构造方式，（1）Stick-breaking 构造，（2）Polya urn scheme 构造，（3）Chinese restaurant process 构造。这三种构造是学习DPMM及HDP，还有其他非参模型的基础工作。关于Stick-breaking 构造可以参考我的一篇博客：htt
分层Dirichlet过程（HDP）的理解
sysuhu的博客
01-12 7599
承接这几篇而来 《 由中餐馆过程（CRP）理解狄利克雷过程（DP）》 http://blog.youkuaiyun.com/sysuhu/article/details/53725696 《 从折棍子（Stick Breaking）模型到狄利克雷过程（DP）》 http://blog.youkuaiyun.com/sysuhu/article/details/54287684 《 关于Dirichlet过程混合模
【论文笔记7】Discovering Discrete Latent Topics with Neural Variational Inference (NVDM-GSM / NVDM)
NEU_XXQ的博客
05-15 2066
Discovering Discrete Latent Topics with Neural Variational Inference 使用神经变分推理发现潜在的主题 提出了著名的NVDM-GSM/GSB/RSB模型 论文简介 题目：Discovering Discrete Latent Topics with Neural Variational Inference 作者：Yishu Miao 1 Edward Grefenstette 2 Phil Blunsom 1 2 作者单位：Oxford、
狄利克莱过程模型(二)：狄利克莱过程分布的三个经典类比
duskwaitor的专栏
12-05 3610
关于DPP的三个经典类比，在本文中依次进行说明：        首先是折棍子模型：        将观测数据分配到不同群中的生成模型，就是一个折棍子的过程，它将一个变量的支持度(所谓支持度，采用了数据挖掘中关联规则抽取的术语了，意思就是概率，搞不明白为毛用支持度这个术语)分为相互不重叠的k个部分，首先，我们从一个长度为单位1的棍子开始，开始折这个棍子，我们根据下面算法在棍子上生成随机点：
论文阅读“DeepDPM: Deep Clustering With an Unknown Number of Clusters” (CVPR 2022)
qq_43497436的博客
04-13 5105
论文标题 DeepDPM: Deep Clustering With an Unknown Number of Clusters 论文作者、链接 作者：Ronen M, Finder S E, Freifeld O. 链接：https://arxiv.org/abs/2203.14309 代码：https://github.com/BGU-CS-VIL/DeepDPM. 摘要翻译 深度学习在无监督任务的聚类中显示出很大的潜力。这意味着，虽然传统的（非深度）的聚类方法的无参数的好处是总所周知.
狄利克莱过程模型(一)：非参数贝叶斯无限混合模型和Dirichlet过程
热门推荐
duskwaitor的专栏
12-02 1万+
[作者按] 这篇文章是根据edwin Chen的博客 http://blog.echen.me/2012/03/20/infinite-mixture-models-with-nonparametric-bayes-and-the-dirichlet-process/ 和剑桥大学的一个ppt，http://mlg.eng.cam.ac.uk/zoubin/talks/uai05tutoria
狄利克雷混合模型
04-02
### 狄利克雷混合模型概述 狄利克雷混合模型（Dirichlet Process Mixture Model, DPMM）是一种基于贝叶斯非参数统计的方法，它允许在未知数据生成分布的情况下自动推断合适的分量数。相比于传统的高斯混合模型（Gaussian Mixture Models, GMM），DPMM 不需要预先指定分量的数量 \( n_{\text{components}} \)，而是通过引入狄利克雷过程 (Dirichlet Process, DP) 来动态调整分量的数量[^1]。 #### 核心概念 狄利克雷过程的核心在于其能够定义一个无限离散概率分布的先验。具体来说，对于一组观测数据 \( X = \{x_1, x_2, ..., x_N\} \)，假设这些数据是从某个未观察到的概率分布 \( F \) 中抽取的，则可以通过狄利克雷过程为 \( F \) 定义一个先验分布： \[ F \sim \text{DP}(G_0, \alpha), \] 其中 \( G_0 \) 是基分布（base distribution），\( \alpha > 0 \) 是集中参数（concentration parameter）。这种设定使得 \( F \) 可以被看作是由无穷多个原子组成的加权组合[^4]。 #### Stick-Breaking 构造 为了便于理解和计算，通常采用 stick-breaking 过程来近似狄利克雷过程。stick-breaking 的基本思想是将一根长度为 1 的“棍子”逐步打断，每次断裂的比例决定当前分量的权重。这一构造方式不仅直观而且易于编程实现[^2]。 --- ### 实现方法 以下是使用 Python 和 PyMC3 库实现狄利克雷过程混合模型的一个简单示例： ```python import numpy as np import pymc3 as pm from scipy.stats import norm # 数据模拟 np.random.seed(42) data = np.concatenate([norm.rvs(-3, 1, size=50), norm.rvs(3, 1, size=50)]) with pm.Model() as model: alpha = 1.0 / data.std() # 基分布参数 mu = pm.Normal('mu', mu=0., sigma=(1./alpha)**-.5, shape=20) tau = pm.Gamma('tau', alpha=1, beta=1, shape=20) # Stick-breaking weights v = pm.Beta('v', alpha=1, beta=1, shape=20) w = pm.Deterministic('w', v * pm.math.cumprod(pm.math.concatenate([[1], 1 - v[:-1]]))) # 分布选择 component_dist = [pm.Normal.dist(mu=mui, sigma=np.sqrt(taui)) for mui, taui in zip(mu, tau)] obs = pm.Mixture('obs', w=w, comp_dists=component_dist, observed=data) trace = pm.sample(1000, tune=1000, chains=2) pm.traceplot(trace); ``` 上述代码展示了如何利用 `PyMC3` 对狄利克雷过程混合模型进行采样并估计参数。注意这里的组件数量设为 20，但实际上由于 stick-breaking 的特性，许多权重会被截断至接近零，从而有效减少实际使用的分量数目。 --- ### 性能对比 与传统 GMM 相比，DPMM 更适合于那些真实分量数目不确定或者可能随时间变化的情况。然而，这也带来了额外的复杂度——尤其是当样本规模较大时，推理效率可能会显著降低。因此，在实际应用中需谨慎评估是否真的有必要使用此类灵活但昂贵的技术。 ---
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值