K近邻法学习笔记

1、K近邻法是一种基本分类与回归方法。
2、K近邻法的三个基本要素：K值的选择、距离度量及分类决策规则。
3、K近邻法的核心思想是：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最近邻的K个实例，这K个实例的多数属于某个类，就把该输入实例分为这个类。
4、距离度量


上面两张图来自于李航老师的统计学习方法
5、由不同的距离度量所确定的最近邻点是不同的。
6、K值得选择会对K近邻法的结果产生重大影响。
（1）K值过小，近似误差会减小，但学习的估计误差会增大。K值的减小意味着整体模型变得复杂，容易发生过拟合。
（2）K值过大，学习的估计误差会减小，但近似误差会增大。K值的增大意味着整体的模型变得简单。
k值小时，k近邻模型更复杂；k值大时，k近邻模型更简单。
近似误差：对训练数据集的训练误差
估计误差：对测试数据集的测试误差
7、在应用中，K值一般取一个比较小的数值，通常采用交叉验证法来选取最优的K值。
交叉验证：在给定的建模样本中，拿出大部分样本进行建模型，留小部分样本用刚建立的模型进行检验。
8、K近邻法中的分类决策规则往往是多数表决，即由输入实例的K个近邻的训练实例中的多数类决定输入实例的类。并且多数表决规则等价于经验风险最小化（推导可见李航老师统计学习方法第二版的52页和53页）。
9、kd树中的k与k近邻法中的k含义不一样，kd树中的k是指k维空间数据，而k近邻法是指找出k个距离实例点最近的点。