机器学习系列（二）-- KNN回归算法实现

数据预处理

import numpy as np
import pandas as pd

data = pd.read_csv('../KNN分类/iris.csv')
# print(data)
# 删除不需要的ID和Species列  因为需要进行回归预测  类别信息就没有用处了
data.drop(['ID','Species'],axis=1,inplace=True)
# print(data)
# 删除重复的数据
data.drop_duplicates(inplace=True)

KNN 回归

# KNN 回归
class KNN:
    #  使用python 实现近邻操作实现回归预测
#     该算法用于回归预测，根据前三个特征属性，寻找最近的k个邻居
#     然后根据k个邻居的第四个特征属性 去预测当前样本的第k个特征值
    def __init__(self,k):
        # 初始化方法

        # paramaters
        # k : int 邻居的个数
        self.k = k

    def fit(self,X,y):

        # 训练方法
        # paramaters
        # X : 类数组类型（特征矩阵），形状为[样本数量，特征数量]
        # 带训练的样本特征（属性）
        # y : 类数组类型（特征矩阵），形状为[样本数量] 每个样本的目标值（标签）


        # 注意 样本X和y转换为数组的形式  方便进行统一操作
        self.X = np.asarray(X)
        self.y = np.asarray(y)

    def predict(self,X):

        # 根据参数传递的X 对样本数据进行预测
        # Parameters ：X 类数组类型 形状为[样本数量，特征数量]
        # 待测试的样本特征（属性）
        # return result： 数组类型 预测的结果值

        # 转换数组类型
        X = np.asarray(X)
        # 保存预测的结果值
        result = []
        for x in X:
            # 计算距离 （计算与训练集中每个X的距离）
            dis = np.sqrt(np.sum((x - self.X)**2,axis=1))
            # 返回数组排序 每个元素在数组中（排序之前的数组）的索引
            index = dis.argsort()
            # 取前k个距离最近的索引 （在原数组之间的索引）
            index = index[:self.k]
            # 计算均值 加入返回结果的数组当中
            result.append(np.mean(self.y[index]))
        return np.array(result)

    def predict2(self, X):

        # 根据参数传递的X 对样本数据进行预测 （考虑权重）
        # 权重计算方式：使用每个节点（邻居）距离的倒数/所有节点距离倒数之和
        # Parameters ：X 类数组类型 形状为[样本数量，特征数量]
        # 待测试的样本特征（属性）
        # return result： 数组类型 预测的结果值

        # 转换数组类型
        X = np.asarray(X)
        # 保存预测的结果值
        result = []
        for x in X:
            # 计算距离 （计算与训练集中每个X的距离）
            dis = np.sqrt(np.sum((x - self.X) ** 2, axis=1))
            # 返回数组排序 每个元素在数组中（排序之前的数组）的索引
            index = dis.argsort()
            # 取前k个距离最近的索引 （在原数组之间的索引）
            index = index[:self.k]
            # 求所有的邻居节点距离的倒数之和
            s = np.sum(1 / dis[index] + 0.001)  # 0.001防止分母为0
            # 计算均值 加入返回结果的数组当中
            # result.append(np.mean(self.y[index]))
            # 使用每个节点距离的倒数  除以倒数之和 得到权重
            weight = (1 / (dis[index] + 0.001)) / s
            # 使用邻居节点的标签值 乘以对应的权重 然后想加 都得到最终的预测结果
            result.append(np.sum(self.y[index]+weight))
        return np.array(result)

测试与训练

t = data.sample(len(data),random_state=0)
train_X = t.iloc[:120,:-1]
train_y = t.iloc[:120,-1]
test_X = t.iloc[120:,:-1]
test_y = t.iloc[120:,-1]

knn = KNN(k=3)
knn.fit(train_X,train_y)
result = knn.predict(test_X)
result2 = knn.predict2(test_X)
print(result2)
re = np.mean(np.sum((result-test_y)**2))
re2 = np.mean(np.sum((result2-test_y)**2))
print(re2)
# print(test_y)

KNN可视化

# KNN 可视化

import matplotlib as mpl
import matplotlib.pyplot as plt

# 默认情况下 matplotlib不支持中文显示，我们需要进行一下设置
# 设置字体为黑体 以支持中文显示
mpl.rcParams['font.family'] = 'SimHei'
# 设置在中文字体时   能够正常的显示负号（-）
mpl.rcParams['axes.unicode_minus'] = False

plt.figure(figsize=(10,10))
# 绘制预测图
plt.plot(result,'ro-',label='预测值')
# 绘制真实值
plt.plot(test_y.values,'go-',label='真实值')
plt.title('KNN连续值预测展示')
plt.xlabel('节点序号')
plt.ylabel('花瓣宽度')
plt.legend()
plt.show()