KNN算法癌症诊断

邻近算法（KNN，K-NearestNeighbor）是数据挖掘分类技术方法之一。K最近邻，就是K个最近的邻居的意思，每个样本都可以用它最接近的K个邻近值来代表。近邻算法就是将数据集合中每一个记录进行分类的方法，因此可以将该算法用于癌症分类中去。

此数据为乳腺癌的癌症，获得的数据属性有乳腺的细胞核的一些特征，【包括半径，质地，光滑度，面积等等，这些都能用仪器测出来】。医生可以根据这些特征判断你是否得病了，同样，算法也一样，通过这些特征判断你是否得病了。比如KNN算法。

导包

import numpy as np

import pandas as pd

from pandas import Series,DataFrame

from sklearn.neighbors import KNeighborsClassifier

from sklearn.model_selection import train_test_split

# grid网格，search搜索，cv：cross_validation
# 搜索算法最合适的参数
from sklearn.model_selection import GridSearchCV

from sklearn.metrics import accuracy_score

加载数据

cancer = pd.read_csv('./cancer.csv',sep = '\t')#分隔符参数sep
cancer

 

删除无价值数据

cancer.drop('ID',axis = 1,inplace=True)#inplace = True：不创建新的对象，直接对原始对象进行修改

X = cancer.iloc[:,1:]#从下标1列开始到最后
X.head()

 

目标值

y = cancer['Diagnosis']
y.head()

M为恶性，B为良性。

分割数据

X_train,X_test,y_train,y_test = train_test_split(X,y,test_size = 0.2)

网格搜索GridSearchCV进行最佳参数的查找

knn = KNeighborsClassifier()

params = {'n_neighbors':[i for i in range(1,30)],
          'weights':['distance','uniform'],
          'p':[1,2]}

# cross_val_score类似
gcv = GridSearchCV(knn,params,scoring='accuracy',cv = 6)

gcv.fit(X_train,y_train)

查看了GridSearchCV最佳的参数组合

gcv.best_params_

预测值

y_ = gcv.predict(X_test)
y_

准确率

accuracy_score(y_test,y_)

交叉表

pd.crosstab(index = y_test,columns=y_,rownames=['True'],colnames=['Predict']， margins=True)#边界统计

行为真实值，列为预测值。margin:统计行列数。

 

Classification_report展示

# 精确率、召回率、f1-score调和平均值
from sklearn.metrics import classification_report

print(classification_report(y_test,y_,target_names = ['B','M']))

# 真实的 以行为单位
y_test.value_counts()

# 预测  以列为单位
Series(y_).value_counts()

混合矩阵

confusion_matrix(y_test,y_)

confusion_matrix(y_test,y_)

confusion_matrix(y_test,y_)

提升准确率，提升精确率，提升召回率

归一化操作

数值比较大，所以进行归一化操作

手写归一化

# 归一化操作
X_norm1 = (X - X.min())/(X.max() - X.min())
X_norm1.head()

归一化后的数据训练

X_train,X_test,y_train,y_test = train_test_split(X_norm1,y,test_size  = 0.2)

knn = KNeighborsClassifier()

params = {'n_neighbors':[i for i in range(1,30)],
          'weights':['uniform','distance'],
          'p':[1,2]}#p=1位曼哈顿距离，p=2位欧式距离
gcv = GridSearchCV(knn,params,scoring='accuracy',cv = 6)
gcv.fit(X_train,y_train)

accuracy_score(y_test,y_)

由此可看准确率提升了。

第二种归一化：Z-Score归一化

X_norm2 = (X - X.mean())/X.std()
X_norm2.head()

X_train,X_test,y_train,y_test = train_test_split(X_norm2,y,test_size  = 0.2)

knn = KNeighborsClassifier()

params = {'n_neighbors':[i for i in range(1,30)],
          'weights':['uniform','distance'],
          'p':[1,2]}
gcv = GridSearchCV(knn,params,scoring='accuracy',cv = 6)
gcv.fit(X_train,y_train)

y_ = gcv.predict(X_test)
accuracy_score(y_test,y_)

第三种归一化

from sklearn.preprocessing import MinMaxScaler,StandardScaler #inplace = True：不创建新的对象，直接对原始对象进行修改；

# MinMaxScaler 和最大值最小值归一化效果一样
mms = MinMaxScaler()

mms.fit(X)
X2 = mms.transform(X)
X2.round(6)

sklearn归一化方法和手写的归一化方法一样。

 

归一化方法四

ss = StandardScaler()

X3 = ss.fit_transform(X)
X3