K近邻算法学习

import pandas as pd
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split,GridSearchCV

# KNN近邻算法
# 定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
# a(a1,a2,a3),b(b1,b2,b3)
# 公式：√((𝑎1−𝑏1)^2+(𝑎2−𝑏2)^2+(𝑎3−𝑏3)^2 )

# ******KNN算法 需要对数据进行标准化处理******#

# sklearn k-近邻算法API
# sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')
# n_neighbors：int, 可选（默认 = 5），k_neighbors查询默认使用的邻居数
# algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可选用于计算最近邻居的算法：‘ball_tree’将会使用 BallTree，‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)

file_path=r"D:\学习\4机器学习算法基础\Data explorer\train.csv"
t=pd.read_csv(file_path)

#1、处理数据，缩小数据
t=t.query('accuracy>30')
#转化时间数据
kk=pd.to_datetime(t["time"],unit="s")
#把时间转化成字典格式
time_value=pd.DatetimeIndex(kk)

#构造时间特征
t["day"]=time_value.day
t["weekday"]=time_value.weekday
t["hour"]=time_value.hour
#删除时间列
t.drop(labels="time",axis=1,inplace=True)
#吧签到数量少于N个的目标位置删除
place_count=t.groupby(by="place_id").count()
tf=place_count[place_count.row_id>3].reset_index()

t=t[t["place_id"].isin(tf.place_id)]
#取出数据中的特征值和目标值
y=t["place_id"]
x=t.drop(labels="place_id",axis=1)
#进行数据分割训练集测试集
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.25)


#特征工程，标准化
from sklearn.preprocessing import StandardScaler
std=StandardScaler()
# 对测试集和训练集的特征值进行标准化
x_train = std.fit_transform(x_train)

x_test = std.transform(x_test)

#进行算法流程
knn=KNeighborsClassifier()

# knn.fit(x_train,y_train)
#
# #得出预测结果
# y_predict=knn.predict(x_test)
# print("预测目标位置",y_predict)
# print("准确率",knn.score(x_test,y_test))

#进行网格搜索与交叉验证
#构造一些参数值进行搜索
param={"n_neighbors":[3,5,10]}
gc=GridSearchCV(knn,param_grid=param,cv=5)
gc.fit(x_train,y_train)
print("准确率",gc.score(x_test,y_test))
print("在交叉验证中最好的结果",gc.best_score_)
print("最好模型是",gc.best_estimator_)
print("每个超参每次交叉验证的结果：",gc.cv_results_)