Daniel_mc的博客

文章链接为：http://www.tianyancha.com/research/LR_intro.pdf这个很强

极大似然估计：已知X是离散型随机变量，可能的取值有0，1,  2。对应概率为：这里X更具体解释的话，可以理解为抛两次硬币，正面记1，反面记0，结果累加，只不过这里的硬币特殊，抛到反面的概率是θ。这时对X抽取容量为10的样本，其中有2个0、5个1、3个2，求θ的最大似然估计值。套用大佬的总结，最大似然估计法的步骤：1.  写出似然函数；2.  对似然函数取对数，并整理...

EM算法是极大似然解的一种算法。当使用基于极大似然估计的模型时，模型中存在隐变量，就要用到EM算法进行参数估计。以投硬币为例说明：现有两枚硬币1和2，随机投掷正面朝上的概率是P1和P2，然后为了估计这两个概率做了上面的实验，我们可以很容易得出P1 = (3+1+2)/15 = 0.4p2 = (2+3)/10 = 0.5为了使用我们的EM算法，我们加入隐变量，即还是上面的实验，但是我们抹去每轮投掷...

KNN算法是一种分类算法，和Kmeans是看起来像但可以说没啥关系。KNN的数据集都是带label的（监督学习），整个分类过程类似于一种投票机制。这里KNN的K指的是当我们给样本x分类的时候，我们就从数据集里找跟x距离最近的k个数据点，然后选k个数据点中类别最多的类给x。比如上图：k的取值是能直接决定分类效果的，当k取3时，绿点应被归为红三角（2 >1）；当k取5是，绿点又被归为蓝方块（3&...

之前写过一篇如何理解EM算法和一篇极大似然估计的博客，但是感觉两者很疏远，其实是有很大联系的。这篇博客就是把他俩连起来说一说，主要是这样方便记忆...