zhangsj1007的博客

简单来说，吉布斯抽样是单分量Metropolis-Hastings的特殊情况，特殊在哪哪？特殊在这个时候 这个时候的接收率： 由于 带入，能够得到：吉布斯抽样算法过程：输入：目标概率分布的密度函数p(x)，函数f(x);输出：p(x)的随机样本，函数样本均值；参数：收敛步数m，迭代步数n。(1) 初始化。给出初始样本(2) 对i循环执行设第（i-1）次迭

本节先介绍一个概率，满条件分布对于为k维随机变量。如果条件概率分布中所有k个变量全部出现，其中，，，那么称这种条件概率分布为满条件概率分布。满条件概率分布有以下性质：(1) 对于任意的和任意的，有(2)...

抽样的时候我们不能指望每次都是从一元分布里面进行抽样，如果是多元联合分布进行抽样，问题仿佛一下子就复杂了很多。Metropolis-Hastings算法的解决思路是可以对多元变量的每一个变量的条件分布依次分布进行抽样，从而实现对整个多元变量的一次抽样，这种抽样方法称为单分量Metropolis-Hasting算法。例如，, i = 1, 2, ...., n其中，是随机变量的第j个分量，j = 1，2, ..., k。单分量Metropolis-Hastings算法由下面的k步迭代实现Metropolis-

上一节已经讲到，如果能够构建一个马尔可夫链，让这个马尔可夫链的平稳分布为抽样的目标分布p(x)。在这个马尔可夫链上随机游走就可以进行采样。那么问题来了，如何构建这样的马尔可夫链那？一个方法是定义特殊的转移核函数或者转移矩阵，构建可逆马尔可夫链，常用的马尔可夫链蒙特卡洛方法有Metropolis-Hastings算法，吉布斯抽样，本节终点介绍Metropolis-Hastings算法。Metropolis-Hastings算法采用的特殊转移核为的马尔可夫链：其中称为建议分布(proposal distribu

上一节提到了，如果我们能够找到一个合适的，就能够进行MCMC进行采样了。那么如何找到那？其实并不难，只要找到一些特殊的能够满足条件就可以了。 形式1： 对于这种形式 就可以简化为 ,这种形式称为Metropolis选择基于以上形式，特例1： 特例2：。特例2其实还是可以有不同的选择case，譬如， 形式2： .对于

上一节说了马尔可夫链的一些性质。其中由遍历定理，从不同的起始点出发，通过大量的随机游走，采集的样本，都会收敛到同一平稳分布。那这就又给了一个采样的思路：在随机变量x的状态空间S上定一个一个满足遍历定理的马尔可夫链X={}，使其平稳分布就是抽样的目标分布p(x).然后在这个马尔可夫链上进行随机游走，每个时刻得到一个样本。根据遍历定理，当时间趋于无穷时，样本的分布趋近平稳分布，样本的函数均值趋近于函数的数学期望。所以，当时间足够长时（时刻大于某个正整数m），在之后的时间（时刻小于等于某个正整数n, n > m）

上一节介绍了Markov Chain 的基本概率，本节介绍Markov Chain的基本特性。平稳分布，设有马尔可夫链X = {},其状态空间为S，转移概率矩阵为P = （）,如果存在状态空间S上的一个分布使得，则称为马尔可夫链X = {}的平稳分布。给定一个马尔可夫链X = {},状态空间为S，转移概率矩阵为P=（）,则分布为X的平稳分布的充分必要条件是是下列方程组的解： 证明略不可约，设有马尔可夫链X = {},状态空间为S，对于任

随机过程，，表示时刻t的随机变量，t=0,1,2,...。每个随机变量的取值集合相同，称为状态空间，表示为S。随机变量可以是离散的，也可以是连续的。以上随机变量的序列构成随机过程(Stochastic Process)。 马尔可夫性，如果随机变量只依赖于，而不依赖于过去的随机变量，这一性质称为马尔可夫性，即： 马尔科夫链，具有马尔可夫性的随机序列X = {}称为马尔科夫链（Markov Chain），也称为马尔可夫过程(Markov Process)。 转移

上一节说了蒙特卡洛方法的一个应用-计算积分（数学期望），本节总结另外一个应用---采样。一般的蒙特卡洛法有直接采样法、接受-拒绝抽样法、重要性抽样法等。接受-拒绝抽样法、重要性抽样法适合于概率密度复杂（如密度函数由多个变量，各变量相互不独立，密度函数形式复杂），不能直接抽样的情况。本节主要介绍接受-拒绝法。 假设有随机变量x，取值，其概率密度函数为p(x)。目标是得到该概率分布的随机样本。假设p(x)不可以直接抽样。接受-拒绝法的基本思路是，找一个可以抽样的分布，称为建议分布（proposa

Monte Carlo method ： 蒙特卡罗法是通过基于概率模型的抽样进行数值近似计算的方法，蒙特卡洛法可以用于概率分布的抽样、概率分布数学期望的估计、定积分的近似计算步骤分2步：1.基于概率模型做随机抽样；2.对数值做近似计算。由于计算数学期望也是在计算积分，实际上利用求数学期望的方法求积分用途：1.概率分布的抽样；2.利用求数学期望求定积分的近似计算假设随机变量x，取值，其概率密度函数为p（x），f(x)为定义在上的函数，目标是求函数f(x)关于密度函数p(x)的数学期望针对这个问题，蒙特卡洛法按

采样就是从一个已知（离散、连续）分布里面采集若干个样本，若干个样本的频度特征要符合分布的频率特征。通常的做法，例如，一个分布的cdf ，的反函数是，，在[0,1]区间取随机数均匀采样,能够得到一批（y,x）,这批(y,x)就是采集的样本。例如，y = N(0,1)的cdf在[0,1]上均匀采样，大概率采到的样本都在[-2,2]之间。...