scw1023的博客

KL距离，是Kullback-Leibler差异（Kullback-Leibler Divergence）的简称，也叫做相对熵（Relative Entropy）。它衡量的是相同事件空间里的两个概率分布的差异情况。其物理意义是：在相同事件空间里，概率分布P(x)的事件空间，若用概率分布Q（x）编码时，平均每个基本事件（符号）编码长度增加了多少比特。我们用D（P||Q）表示KL距离，计算公式如下：

高斯混合模型（GMM）       据上次博客已经2周多了，一直没写，惭愧。一、高斯模型简介      首先介绍一下单高斯模型(GSM)和高斯混合模型(GMM)的大概思想。1.单高斯模型      如题，就是单个高斯分布模型or正态分布模型。想必大家都知道正态分布，这一分布反映了自然界普遍存在的有关变量的一种统计规律，例如身高，考试成绩等；而且有很好的数学性质，具有

基于libsvm的中文文本分类原型 ，虽然做了原型，但是概念还不是很清晰。“支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上”结构化风险结构化风险 = 经验风险 + 置信风险经验风险 =  分类器在给定样本上的误差置信风险 = 分类器在未知文本上分类的结果的误差置信风险因素：样本数量，给定的样本数量越大，学习结果越有可能正