本文详细介绍了三种抽样算法：基本方法、拒绝采样和重要性抽样。在机器学习中，这些方法用于从特定概率分布中抽样。拒绝采样通过参照分布实现，但高维情况下效率低；重要性抽样则通过加权样本近似期望，适用于Bayes网络。SIR算法结合了重要性抽样，生成满足目标分布的样本点。
抽样的基本问题是，对于给定目标概率p（x），如何抽取一组满足该分布的变量。在某些问题中可能还有别的约束条件，如iid等。
基本的抽样算法有
1.基本方法
基本思路通过函数变换将一个均匀分布转化为目标分布，缺点是，对函数性质有一定要求，性质较差的可能没有解析解或无法求解。
具体方法是，设原pdf为p（x），其对应的分布函数F（x）。设y=F（x），当y服从0~1的均匀分布，则反函数求x即满足对应pdf
几何说明如下图
2.rejection sampling
这个算法需要先找到一个能够抽样的参照分布（proposal distribution）q（x），使得p(x)<=M*q(x)对任意的x成立，其中M是一个常数
接下来，对q(x)进行抽样，按照均匀分布拒绝掉其中的某些点，剩余的点即满足分布p。
具体算法为
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
