Xianling Mao的专栏

狄利克雷过程（dirichlet process ）是目前变参数学习（non parameter）非常流行的一个理论，很多的工作都是基于这个理论来进行的，如HDP（hierarchical dirichlet process）。下面我们谈谈dirichlet process的五种角度来理解它。第一种：原始定义：假设存在在度量空间\Theta上的分布H和一个参数\alpha，如果对于度量空间

我所知道的最简单的EM算法推导：预备知识： jessen不等式这里不详细讲解Jessen不等式，大家可以google，这里只大概讲解其意思，就是对于凹函数f(x)（即大肚子向上，口子向下，国外和国内的定义不同，特此注明），f(E(x)) >= E(f(x)); 若是凸函数，不等号的方向相反。等号成立的条件是x是常变量，即各个值相等推导：    假设X是已知变量，H是隐藏变量，\

Dirichlet distribution，对于做主题模型（topic model）研究特别的重要，因为很多模型之中都需要它作为先验分布。本来这个分布Wikipedia和大多数的教科书已经讲得非常清楚，没有必要在这里多介绍，但是最近在理解Dirichlet process过程中，发现从另外一个角度来理解Dirichlet Distribution，对于理解Dirichlet Process有

本文对核方法（kernel method）进行简要的介绍。核方法的主要思想是基于这样一个假设：“在低维空间中不能线性分割的点集，通过转化为高维空间中的点集时，很有可能变为线性可分的” ，例如下图  左图的两类数据要想在一维空间上线性分开是不可能的，然而通过F(x)=(x-a)(x-b)把一维空间上的点转化为右图上的二维空间上，就是可以线性分割的了。然而，如果直接把低维度的数据转

深度学习（Deep Learning），又叫Unsupervised Feature Learning或者Feature Learning，是目前非常热的一个研究主题。本文将主要介绍Deep Learning的基本思想和常用的方法。一. 什么是Deep Learning？实际生活中，人们为了解决一个问题，如对象的分类（对象可是是文档、图像等），首先必须做的事情是如何来表达一个对象，即必