python - 分类KNN

工作原理是：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

参考：K-近邻算法 :https://cuijiahua.com/blog/2017/11/ml_1_knn.html

<字符串数据数值化，连续型数据离散化>

import numpy as np
import scipy.stats as ss
import pandas as pd
from sklearn.model_selection import train_test_split
 
df=pd.DataFrame({"A":ss.norm.rvs(size=100),"B":np.random.randint(low=0,high=10,size=100),\
     "C":np.random.uniform(0, 1, size=100),"D":np.random.randint(low=0,high=2,size=100)})
 
label = df["D"]
df=df.drop("D",axis=1)
 
##切分训练测试、验证集 （6：2：2）
X_tt,X_validation,Y_tt,Y_validation=train_test_split(df.values,label.values,test_size=0.2,random_state=0)
X_train,X_test,Y_train,Y_test=train_test_split(X_tt,Y_tt,test_size=0.25,random_state=0)
   
### KNN models
from sklearn.neighbors import NearestNeighbors,KNeighborsClassifier
from sklearn.metrics import accuracy_score,recall_score,f1_score
from sklearn.externals import joblib
knn_clf = KNeighborsClassifier(n_neighbors=3)   ### 创建KNeighborsClassifier()类
knn_clf.fit(X_train, Y_train)                    ### 使用训练集数据，构建KNN
Y_pred = knn_clf.predict(X_validation)            ### 使用验证集的数据进行预测
print("ACC:", accuracy_score(Y_validation,Y_pred))    ### sklearn.metrics 评估
print("REC:", recall_score(Y_validation,Y_pred))
print("F-Score:", f1_score(Y_validation,Y_pred))
### 存储models
joblib.dump(knn_clf,"knn_clf")    ### joblib 保存模型
##knn_clf = joblib.load("knn_clf")