geeksu的博客

最近在哥们在看统计学习方法的时候，对于EM算法的引例子9.1中三硬币模型有疑问，于是我做了相应的整理和推导，希望对机器学习爱好者有所帮助，共勉。 例子大概是这样的：       假设有3枚硬币，分别记作A，B,C，这些硬币正面出现的概率分布分别是PI，p和q，进行如下的硬币是实验：先投掷硬币A，根据其结果选出硬币B和C,正面选B,反面选C;然后投掷选出的硬币，出现正面记作1，出现方面记

首先，我们举个例子来说明什么是生成学习算法：  假设要判定一个病人所患的是癌症是良性的还是恶性的，我们可以分别对恶性的样本进行训练得到一个模型，再在对良性的样本进行训练得到一个模型，然后对新的病人分别匹配这两个样本看看哪一个样本匹配的更好，匹配较好的那个即为所求。生成学习算法概念：对两个类别的样本分别进行建模，用新的样本去匹配两个模型，匹配度较高的作为新样本的类别。判别算法的概

1.     首先我对前面几个章节做了一个总体概述如下：其实我们前面论述的那些函数，无非可以总结成两种模式：1）:我们假设y满足高斯分布，之后我们得到了基于最小二乘的线性回归模型。2)    y取0或者1，在这种情况下，最为自然的0~1之间的分布是伯努利分布，对于这种情况我们得到了逻辑回归;3） 若你忘记了Bernoulli分布，这里给您做个提醒，若已经熟练掌握请忽略，

1.     我们用一个图来解释扭断算法的基本实现：由图中可知：更一般地：这就是牛顿法的一次迭代。现在这个算法可以得到一个值，使得 ;2. 上面论述的是牛顿法的几何意义，下面我们从代数的角度来论述下牛顿法：考虑无约束最优化问题：                      （B,1）其中为目标函数的极小值

1.在讲感知机算法之前先引入符号函数sign的概念：其函数图像为：2. 感知机策略针对的样本都是线性可分的，我们做感知机的目的是找出一个能够将训练集正实例点和负实例点完全分开的分离超平面。假设输入空间中任一点到超平面S（方程为w.x+b）的距离为：||w||表示w的二范数3. 其次，对于误分类的数据()来说，时，因为当，=-1，当时，=+

1.局部加权线性回归在讲述局部加权线性回归时，先论述关于，过拟合的概念：李航老师的《统计学习方法》中给出了很好的定义：过拟合是指学习时选择的模型所包含的参数过多，以致于出现这一个模型对已知数据预测得很好，但对于未知数据预测很差的想象。欠拟合的概念与此相反，下面用3张图来展示其拟合程度：从完美拟合所有训练数据的意义上来说，这是一个伟大的模型，当从另一个方面来讲它也许并不是

1.在线性回归问题中，我们通常使用下面公式来拟合训练集：其中,为特征向量的个数；2.如图假设x是二维的，则有3.  我们可以将损失函数表示为：4.  我们将目标函数转成求损失函的最小值，该问题已经转换成了最小二乘问题，因此我们可以使用梯度下降法对求最小值。      1） 首先,为了简化问题，我们假设只有一组样