weixin_49509366的博客

1、K近邻法是一种基本分类与回归方法。2、K近邻法的三个基本要素：K值的选择、距离度量及分类决策规则。3、K近邻法的核心思想是：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最近邻的K个实例，这K个实例的多数属于某个类，就把该输入实例分为这个类。4、距离度量上面两张图来自于李航老师的统计学习方法5、由不同的距离度量所确定的最近邻点是不同的。6、K值得选择会对K近邻法的结果产生重大影响。（1）K值过小，近似误差会减小，但学习的估计误差会增大。K值的减小意味着整体模型变得复杂，

1、感知机的定义：本图来自李航老师的统计学习方法2、感知机是一个线性分类模型，属于判别模型3、数据集的线性可分性是指存在超平面可将数据点的正负实例点完全正确地划分到超平面两侧。4、感知机的学习目标是找到一个可以将数据点的正负实例点完全正确分离的超平面。5、感知机的损失函数是误分类点到超平面的总距离，不用误分类点总数的原因是因为这样定义的损失函数不是连续可导的。6、感知机学习算法是误分类驱动的。7、感知机学习算法是基于梯度下降法对损失函数的最优化算法。8、当训练数据集线性可分时，感知机学习算