kNN

既是最简单的机器学习算法之一，也是基于实例的学习方法中最基本的，又是最好的文本分类算法之一。如对电影的分类，收集许多电影及特征如拥抱镜头，打斗镜头和搞笑镜头的数量，和label，构成了数据集。然后对一个新电影进行分类属于爱情片，动作片还是喜剧片。

算法思想：一个样本与数据集中的k个样本最相似，如果这k个样本中的大多数属于某一个类别，则该样本也属于这个类别。

那么问题是有一个新样本，问属于哪类？

步骤：
1. 我们构建一个已分好类的数据集。
2. 计算一个新样本与数据集中所有数据的距离。
3. 按照距离大小进行递增排序。
4. 选取距离最小的k个样本。
5. 确定前k个样本所在类别出现的频率，并输出出现频率最高的类别。

KNN有几个特点：

（1）KNN属于惰性学习（lazy-learning）

KNN没有显式的学习过程，也就是说没有训练阶段。数据集事先已有了分类和特征值，待收到新样本后直接进行处理。

（2）KNN的计算复杂度较高

新样本需要与数据集中每个数据进行距离计算，计算复杂度和数据集中的数据数目n成正比，也就是说，KNN的时间复杂度为O(n)，因此KNN一般适用于样本数较少的数据集。

（3）k取不同值时，分类结果可能会有显著不同。

一般k的取值不超过20，上限是n的开方。

若k=3，则绿色点被归为红色，若k=5，则被归为蓝色。

需要注意的问题：

距离如何度量，经典的方法有欧氏距离，也可以是加权距离等，总之能反应数据之间相似程度的方法就可以。

sklearn的kNN

无监督kNN：

from sklearn.neighbors import NearestNeighbors
model = NearestNeighbors(n_neighbors=5, algorithm='auto')
model.fit(X)
indices, dist=model.kneighbors(input)# 返回input与X中最近5个点的index和5个距离。

kNN分类：

from sklearn.neighbors import KNeighborsClassifier
X, y
model = KneighborsClassifier(n_neighbors=5,weights='uniform',algorithm='auto')
model.fit(X,y)
model.predict(input)
model.predict_proba(input)

kNN回归

from sklearn.neighbors import KNeighborsRegressor
X = [[0], [1], [2], [3]]
y = [0, 0, 1, 1]
model = KNeighborsRegressor(n_neighbors=2)
model.fit(X, y)
print(model.predict([[1.5]]))