liqiming100的专栏

（EM算法）The EM Algorithm       EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。 下面主要介绍EM的整个推导过程。 1. Jensen不等式       回顾优化理论中的一些概念。设f是定义域为实

https://sanwen8.cn/p/177SOou.html

第一次接触EM算法，是在完成半隐马尔科夫算法大作业时。我先在网上下载了两份Baum-Welch算法的代码，通过复制粘贴，修修补补，用Java实现了HMM算法（应用是韦小宝掷两种骰子的问题）。然后，参考有关半隐马尔科夫算法的论文，照着论文中的公式修改隐马尔科夫算法，完成了大作业。现在回想起来，就隐隐约约记得有一大堆公式。最近，我看到一篇很好的文章，对EM算法的计算有了进一步的了解，文章链接为http

什么是熵(Entropy) 简单来说，熵是表示物质系统状态的一种度量，用它老表征系统的无序程度。熵越大，系统越无序，意味着系统结构和运动的不确定和无规则；反之，，熵越小，系统越有序，意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化，组织化，复杂化状态的一种度量。 熵最早来原于物理学. 德国物理学家鲁道夫·克劳修斯首次提出熵的概念，用来表示任何一种能

KNN算法的思想实际上比较简单明了。就是通过判断待分类点到已分类点群的距离来判断待分类点所属类群。下面通过一个简单的例子说明一下：如下图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。 在KNN中，通过计算对象间距离来作为各个对象之间的非相