ACG00的博客

统计学习方法之EM算法

统计方法学之提升方法

统计学习方法——支持向量机

三扇门问题之前在美国有一个著名的综艺节目，这个节目里有三扇关闭着的门。其中有两扇的后面是山羊，有一扇则放着一辆豪车。主持人会让嘉宾做出选择，嘉宾做出选择之后，主持人会打开其中错误的一扇门，询问嘉宾：伙计，你有一次更改选择的机会，你要使用吗？我们从直觉来分析，我们更不更换答案应该不会影响。毕竟三扇门里有一个正确答案，主持人排除的是错误答案，也就是说正确答案就在剩下的两个门里。不管我们换不换选择，门后是大奖的概率都应该是二分之一才对。但是事实是如果不更换的话，获奖的概率是三分之一，而更换的话，获奖的概率高达

什么是k近邻？通俗来讲就是物以类聚，人以群分。具体来讲就是说，同一类别的东西其实是存在非常多的相同的特点，那么我们就可以通过某个某个样本的特点从而预测出它是什么类，或者我们可以通过看一个样本周围的样本都是什么类别，进而预测出它是什么类别，毕竟相同的东西扎堆存在。所以说，既然是通过它周围的东西推导出它是什么类，那么“周围”到底怎么定义，所以就不得不引入一些距离衡量的东西，那么接下来看一些测量距离的名词。欧氏距离：其实就是之前我有提到过的二范数，其实也可以理解为两点间的距离，公式如下：就是它们坐标相减的平

感知机模型简单来讲就是找到一条直线可以无差别或者说是尽可能少的误差把图中的红点和绿色的点给区分开来，那么这样的一条直线所形成的函数就是就可以别称作感知机模型上式里面，x是特征向量，其实就是特征空间里面的点，w和b为感知模型的参数，wx+b叫做超平面，w是超平面的法向量，b是超平面的截距，很显然式子的结果就有两种可能，那么就是这个超平面把数据分为了两个部分，如果说红色在直线的上方那么输出结果就是+1，相反输出的结果就是-1，如果点恰好在直线上那么结果就是0。超平面具体来讲就是说根据已知的特征向量把

统计学习方法李航第二版第一章概述