Kaggle（九）深度学习 k近邻学习

k近邻算法

 

参考：K-近邻算法（KNN）_自动化所副盐的博客-优快云博客

任务九 深度学习 K近邻学习_Heihei_study的博客-优快云博客

概述

K Nearest Neighbor算法又叫KNN算法K最近邻(k-Nearest Neighbor，KNN)，是一种常用于分类的算法，是有成熟理论支撑的、较为简单的经典机器学习算法之一。该方法的基本思路是：如果一个待分类样本在特征空间中的k个最相似(即特征空间中K近邻)的样本中的大多数属于某一个类别，则该样本也属于这个类别，即近朱者赤，近墨者黑。显然，对当前待分类样本的分类，需要大量已知分类的样本的支持，因此KNN是一种有监督学习算法。

原理 

如图所示，有两类不同的样本数据，分别用蓝色的小正方形和红色的小三角形表示，而图正中间的那个绿色的圆所标示的数据则是待分类的数据。这也就是我们的目的，来了一个新的数据点，我要得到它的类别是什么？好的，下面我们根据k近邻的思想来给绿色圆点进行分类。

如果K=3，绿色圆点的最邻近的3个点是2个红色小三角形和1个蓝色小正方形，少数从属于多数，基于统计的方法，判定绿色的这个待分类点属于红色的三角形一类。
如果K=5，绿色圆点的最邻近的5个邻居是2个红色三角形和3个蓝色的正方形，还是少数从属于多数，基于统计的方法，判定绿色的这个待分类点属于蓝色的正方形一类。
从上面例子我们可以看出，k近邻的算法思想非常的简单，也非常的容易理解，该算法的原理大概意思就是怎么给新来的点如何进行归类，只要找到离它最近的k个实例，哪个类别最多即可。

三个要素

• 距离度量
• 分类决策规则
• K值的选取

k近邻算法实例实现分类（CIFAR-10）

这是一个经典的小彩色图像集，具有50000个训练数据，10000个测试数据，大小均为32*32，有10类标签（类别鲜明），目的是预测图片属于什么样类别的

CIFAR-10https://www.cs.toronto.edu/~kriz/cifar.html

计算选取点与当前点的距离（将图像对应像素点相减，最后求累加和）

深度学习(八)-CIFAR-10分类_未名湖畔的落叶的博客-优快云博客_cifar10 分类

数据处理

在处理时，因为是彩色图片，由 [R, G, B] 组成，需要使用三维，将图片转化为三维像素表示

	transform = transforms.Compose([
	    transforms.ToTensor(),   # 将数据转为 tensor
	    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))   # 标准化
	])
	
	trainset = torchvision.datasets.CIFAR10(root="./data", train=True, download=False, transform=transform)
	testset = torchvision.datasets.CIFAR10(root="./data", train=False, download=False, transform=transform)
	
	trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=2)
	testloader = torch.utils.data.DataLoader(testset, batch_size=4, shuffle=False, num_workers=2)

看图片信息 

	classes = ("airplane", "automobile", "bird", "cat", "deer", "dog", "frog", "horse", "ship", "truck")
	(data, label) = trainset[100]
	
	print(classes[label], "\t", data.shape)
	show((data+1)/2).resize((100, 100))

模型构建

个参数可以自己设置

	class Net(nn.Module):
	    def __init__(self):
	        super(Net, self).__init__()
	        self.player1 = nn.Sequential(   # [3, 32, 32]
	            nn.Conv2d(3, 6, 5),      # 卷积层 [6, 28, 28]
	            nn.ReLU(),     # 激活函数
	            nn.MaxPool2d(2)   # 池化  [6, 14, 14]
	        )
	        
	        self.player2 = nn.Sequential(   # [6, 14, 14]
	            nn.Conv2d(6, 16, 5),  # [16, 10, 10]
	            nn.ReLU(),
	            nn.MaxPool2d(2)   # [16, 5, 5]
	        )
	        
	        self.player3 = nn.Sequential(   # 全连接层
	            nn.Linear(16*5*5, 120),
	            nn.Linear(120, 84),
	            nn.Linear(84, 10)
	        )
	        
	    def forward(self, x):   # 传播过程
	        x = self.player1(x)
	        x = self.player2(x)
	        x = x.view(x.size()[0], -1)   # 平面展开
	        output = self.player3(x)
	
	        return output

 各层权重与偏置信息

	for name, parameters in model.named_parameters():
	    print(name, ": ", parameters.size())

效果测试

	dataiter = iter(testloader)   # 显示4张图片
	images, labels = dataiter.next()
	print("实际类别: ", "  ".join("%11s"%classes[labels[j]] for j in range(4)))
	show(torchvision.utils.make_grid((images+1)/2)).resize((400, 100))   # resize: 图片缩放    make_grid:将多个图片拼到一个网格

预测

	outputs = model(Variable(images))
	_, predicted = torch.max(outputs.data, 1)
	print("预测类别: ", "  ".join("%11s"%classes[predicted[j]] for j in range(4)))