lzhf1122的博客

信息熵：https://www.zhihu.com/question/22178202条件熵：https://zhuanlan.zhihu.com/p/26551798信息增益：https://www.zhihu.com/question/22104055信息增益比：https://www.zhihu.com/question/22928442决策树：h

漫谈 Clustering (3): Gaussian Mixture Model：http://blog.pluskid.org/?p=39&cpage=2#comments（经典）高斯混合模型学习笔记：http://blog.youkuaiyun.com/hevc_cjl/article/details/9733945高斯混合模型--GMM（Gaussian Mixture Mod

定义：一个隐马尔可夫模型 (HMM) 是一个五元组：                  (ΩX , ΩO, A, B, π )其中：  ΩX = {q1,...qN}：状态的有限集合  ΩO = {v1,...,vM}：观察值的有限集合  A = {aij}，aij = p(Xt+1 = qj |Xt = qi)：转移概率  B = {bik}，bik = p(Ot

原文地址：http://blog.youkuaiyun.com/angel_yuaner/article/details/47951111当需要估计的概率密度函数的形式未知，比如我们并不能知道样本的分布形式时，我们就无法用最大似然估计方法或贝叶斯估计方法来进行参数估计，而应该用非参数估计方法。这里就介绍三种非参数估计方法。 需要知道的是，作为非参数方法的共同问题是对样本数量需求较大，只要样本数目足

我们知道，基于样本直接设计分类器需要三个基本要素：判别函数类型、分类器设计准则、寻优算法。这里我们讨论的线性判别函数类型为：g(x)=wTx+w0。采用不同的准则和不同的寻优算法就会得到不同的线性分类器。一、线性判别函数 刚才我们说了，线性分类器的判别函数型是线性判别函数：g(x)=wTx+w0其中，w0是一个常数，x是d维的特征向量，w为权值向量，分别为： 

原文地址：http://blog.youkuaiyun.com/angel_yuaner/article/details/47833337最大似然估计是对概率密度函数的一种参数估计。就是说，样本的概率密度函数形式是已知的，但是函数中的某些或全部的参数未知，我们需要根据样本来估计这些参数的值。一、最大似然估计的基本原理 我们首先做以下的基本假设：记待估计的参数为θ，这个量不是随机变量