likaidlut的专栏

这里的相关性并不一定是线性相关。至于为什么相关性大的话Gibbs采样不好用可以这样理解，比如我们就假定x1=x2，那么我们可以看到给定x2的条件下也就相当于定了x1，该链几乎不动，所以不好用。

目前最流行的基于Markov链产生随机数的算法为Metropolis-Hastings算法。由Metropolis1953年提出并由Hastings1970年加以推广。(Metropolis, N et.al, (1953). Equations of state calculation by fast computing machines，Journal of Chemical Physic

为产生密度为的样本，可以从方便采样的密度g(x)中抽取y，通过Acceptance/Rejection方法来最终得到密度为f(x)的样本，只要保证f(x)<=cg(x)。但是有时候f(x)的形状已知，有未知常数存在（比如贝叶斯统计中的归一化因子），Acceptance/Rejection方法就不好用了。这时，我们可以使用Sampling Importance Re-sampling Algor

Monte Carlo方法是基于随机数模拟计算的一类计算方法。Monte Carlo方法必需有随机数源，由于计算机可以提供伪随机数，因此，此方法最适合通过计算机来实现。 Monte Carlo方法常用于不确定性问题的模拟计算。对于一些没有随机成分的问题，有时可以看成某些随机变量的相关量的计算，例如期望，通过模拟样本来估计。 必需保证所选样本真实反应了模拟的总体分布，才能更有效的来估计这些量。 若模

小白估计看到官网上的介绍会被绕晕，其实很简单，就四个步骤首先装Python 2.7.6 Windows X86-64 Installer然后装numpy-MKL-1.7.2.win-amd64-py2.7.exe然后装scipy-0.13.2.win-amd64-py2.7.exe最后装scikit-learn-0.14.1.win-amd64-py2.7.ex

关于这个网上有很多说法，其实我感觉PRML里面总结的最好最地道。看完这一段话估计就懂了比如判别模型，最熟悉的就是logistic regression。生成模型，比如naive bayes

http://research.microsoft.com/en-us/um/people/cmbishop/prml/pdf/prml-errata-1st-20110921.pdf

随着计算机技术的快速发展和统计方法的不断丰富，产生了广泛应用的统计计算方法，例如EM算法、Bootstrap方法、MCMC方法等。这些方法大多涉及到随机抽样，即需要产生满足某分布的随机数。通常这些随机数产生是借助计算机实现，实际上是伪随机数。(1)最简单的也是万能的随机数产生方法Inverse CDF Method设随机变量X的分布函数为F(x)，令，如果U~U(0,1)，那么的分布就为F

Principal Component Analysis简称PCA，也叫Karhunen-Loeve变换。在数据降维，数据压缩，特征提取等方面得到的广泛的应用。相比大家都会用这个方法，Matlab代码貌似也就两行而已。但是它背后有坚实的数学基础，本文试图用简单的方法阐明PCA的原理。把数据从高维变到低维，不是随便乱变换的，PCA的思想是：将数据投射到子空间，在这个子空间中数据的方差最大。为什么