EM算法不错文章trace

Link：

        人人都懂EM算法 - 知乎

        简单的交叉熵损失函数，你真的懂了吗？ - 知乎

        通俗理解启发式算法 - 知乎 (zhihu.com) 

---

Hinton（DL）和Jordan（统计，概率图模型）的碰撞就是EM算法，EM是PCA之外的无监督学习的又一经典呀

【我（Hinton）大概在7岁的时候就意识到，不读博士不行了】

---

【链接1】

1、极大化似然函数和最小二乘损失函数的结果形式等价，原理不同，推导的很好

注：服从正态分布，给他加个常数项，只是均值会变，方差不变，从这个角度想，不要思考X服从啥分布哦。

2、在说交叉熵那里，感觉看了一遍他似乎在证明极大化似然函数等价极小化代价函数，但是证明的方式加个负号就完了，代价函数怎么来的似乎没有说明（存疑）

3、EM算法思想的很好体现就是K-Means，这点很助于理解！

4、看到了EM算法的推导，暂时看不进去了，知道EM的大概了，本打算不看了，但是看到写着是E的由来，联系到EM算法存在的意义是什么？ - 知乎

这里的境界二，激发了一些兴趣，闲时再来抠吧【未完待续。。】

【链接2】

交叉熵损失的推导很漂亮呀

【链接3】

启发式算法是相对于最优化算法提出的，是基于直观或者经验构造的算法，在可接受的开销（时间和空间）内给出待解决组合优化问题的一个可行解。