unsung的算法笔记

EM算法在很多博客中都被描述成最为简单的算法，甚至不能称之为算法。但是我却花费了很长时间试图来理解这个70年代就被提出来的概念，却也是雾里看花，似懂非懂的状态。其中很大的一个原因就在于虽然讲述Expectation-Maximization文章虽然很多，但是其中很多作者都是在不加咀嚼地转述Andrew Ng视频，或者就是把Jensen不等式一列，炫技一把就撤了。每次都是眼看着要明白了，结果突然之间...

SVM理解的视频和文章其实看过好几遍，每次都能看懂，但是过了一个月细节就模糊了，想到如果要掌握一个知识，最好的方式用自己的语言陈述一遍。1. Loss FunctionSVM与其他分类算法最大的不同在于loss function，也就是找到一个margin最大的分割线： argmaxw,b argminx∥wTx+b∥wTw−−−−√arg⁡maxw,b⁡ arg...