u013342396的博客

一、LR产生背景先看下面两张网上借鉴的图1和图2。X轴表示肿瘤大小，Y轴>0.5表示是癌症，否则不是。紫色直线表示预测直线，从图中可以看出，X对应到预测直线上的值之后，上面4点是癌症，下面4点不是癌症。再转到图2，点的排列一旦变化，0.5的阈值很可能就不适用，这主要是在线性拟合中，Y的值无限延伸造成的。为了解决Y值无限延伸的问题，LR算法应运而生，把Y的值限定在0和1之间，完美解决Y值无限

一、KNN算法的定义 已知训练集中的特征值和分类值，输入一个需要分类的数据点A，判断和A欧式距离最短的K个点，求这K个点中分类占比最多的分类作为A点的类别。KNN算法比较简单，可以用于分类，也可以用于回归（临近点的均值做结果）。二、KNN算法优缺点 优点：1、简单、容易实现和理解，不需要参数估计和训练  2、适用于对稀有事件进行分类3、特别适用多分类问题，比SV