pytorch动手实现——K近邻算法

简介

k近邻(knn)算法算是比较简单的机器学习算法，它属于惰性算法，无需训练，但是每次预测都需要遍历数据集，所以时间复杂度很高。
KNN模型的三个基本要素：

1. K值得选择，K值越小，近似误差越小，估计误差越大，相当于过拟合。举个例子，如果k=1，那么类别就会跟他最近的点一个类别。
2. 距离度量：距离反映了特征空间中两个实例的相似程度。可以采用欧氏距离、曼哈顿距离。
3. 分类决策规则：往往采用多数表决。

pytorch实现——Mnist数据集验证

笔者采用了两种方法来实现欧式距离计算，一直是迭代每个测试样例，另一种是通过矩阵的方法计算欧式距离。矩阵方法原理矩阵计算欧几里得距离

from torchvision import datasets, transforms
import numpy as np
from sklearn.metrics import accuracy_score
import torch
from tqdm import tqdm
import time

# matrix func
def KNN(train_x, train_y, test_x, test_y, k):

    since = time.time()

    m = test_x.size(0)
    n = train_x.size(0)

    # cal Eud distance mat
    print("cal dist matrix")
    xx = (test_x**2).sum(dim=1,keepdim=True).expand(m, n)
    yy = (train_x**2).sum(dim=1, keepdim=True)