zhubo22的专栏

马尔可夫网络，（马尔可夫随机场、无向图模型）是关于一组有马尔可夫性质随机变量Random Field）" style="margin:0px; padding:0px; border:0px none; list-style:none; font-family:sans-serif; line-height:1.5em; vertical-align:middle">的全联合概率分布模型。

The Dirichlet Distribution 狄利克雷分布 (PRML 2.2.1)Dirichlet分布可以看做是分布之上的分布。如何理解这句话，我们可以先举个例子：假设我们有一个骰子，其有六面，分别为{1,2,3,4,5,6}。现在我们做了10000次投掷的实验，得到的实验结果是六面分别出现了{2000,2000,2000,2000,1000,1000}次，如果用每一面出现

典型相关分析(Canonical Correlation Analysis)是统计学习方法中一个经典算法，它和PCA,LDA等等矩阵分析算法非常类似，在CCA中我们所关心的问题是找到一个基向量，使得在空间内的两个随机变量在这个基向量上的投影的相关性最大。考虑一个多维随机向量(x,y)，我们关于这个向量有若干组观测：Correlation Analysis（一）" tit

这篇讨论使用期望最大化算法（Expectation-Maximization）来进行密度估计（density estimation）。      与k-means一样，给定的训练样本是，我们将隐含类别标签用表示。与k-means的硬指定不同，我们首先认为是满足一定的概率分布的，这里我们认为满足多项式分布，，其中，有k个值{1,…,k}可以选取。而且我们认为在给定后，满足多值高斯分布，即。由

首先第一种是高斯混合模型算法:高斯模型有单高斯模型（SGM）和混合高斯模型（GMM）两种。（1）单高斯模型：为简单起见，阈值t的选取一般靠经验值来设定。通常意义下，我们一般取t=0.7-0.75之间。二维情况如下所示：（2）混合高斯模型：       对于(b)图所示的情况，很明显，单高斯模型是无法解决的。为了

http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。

http://www.xperseverance.net/blogs/2012/03/17/若公式显示有问题请复制链接到新TAB重新打开听说国外大牛都认为LDA只是很简单的模型，吾辈一听这话，只能加油了~另外这个大牛写的LDA导读很不错：http://bbs.byr.cn/#!article/PR_AI/2530?p=1一、预备知识：       1.

一 课程基本信息          本课程是由Prof.Daphne Koller主讲，同时得到了Prof. Kevin Murphy的支持，在coursera上公开传播。在本课程中，你将学习到PGM（Probabilistic Graphical Models）表示的基本理论，以及如何利用人类自身的知识和机器学习技术来构建PGM；还将学习到使用PGM算法来对有限、带噪声的证据

关于Gibbs sampling， 首先看一下Wiki上的解释：Gibbs sampling or Gibbs sampler is an algorithm to generate a sequence of samples from the joint probability distribution of two or more random variables. The purpo

前言：    上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简

距上一次邀请中国科学院的樊彬老师为我们撰写图像特征描述符方面的综述（http://www.sigvc.org/bbs/thread-165-1-1.html）之后，这次我们荣幸地邀请到美国麻省理工学院（MIT）博士林达华老师为我们撰写“概率模型与计算机视觉”的最新综述。这次我们特别增设了一个问答环节，林老师针对论坛师生提出的许多问题（如概率图模型与目前很热的深度神经网络的联系和区别）一一做了详细解

概率图模型（Probabilistic Graphical Model）系列来自Stanford公开课Probabilistic Graphical Model中Daphne Koller 老师的讲解。（https://class.coursera.org/pgm-2012-002/class/index）主要内容包括（转载请注明原始出处http://blog.youkuaiyun.com/yangl

1.什么是随机过程？在当代科学与社会的广阔天地里，人们都可以看到一种叫作随机过程的数学模型：从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程，从化学反应动力学到电话通讯理论、从谣言的传播到传染病的流行、从市场预测到密码破译，随机过程理论及其应用几乎无所不在。人类历史上第一个从理论上提出并加以研究的过程模型是马尔科夫链，它是马尔科夫对概率论乃至人类思想发展作出的又一伟大

特征向量的几何意义长时间以来一直不了解矩阵的特征值和特征向量到底有何意义（估计很多兄弟有同样感受）。知道它的数学公式，但却找不出它的几何含义，教科书里没有真正地把这一概念从各种角度实例化地进行讲解，只是一天到晚地列公式玩理论——有个屁用啊。根据特征向量数学公式定义，矩阵乘以一个向量的结果仍是同维数的一个向量，因此，矩阵乘法对应了一个变换，把一个向量变成同维数的另一个向量