Open-CV K近邻算法（k-Nearest Neighbour）OCR手写识别

1.概念描述

1.1 什么是特征空间？

首先，K近邻算法是监督分类中最简单的算法，实际上也就是一个分类算法，另外分类也有很多很多种，例如一维空间物体的分类、二维空间物体的分类、三维空间物体的分类...被分类的物体所占据的空间叫做特征空间，例如你要分类的是一维物体，在数学上，它只有坐标x，那么一维空间就是它的特征空间，如果你要分类二维物体，数学上，它有(x,y)，那么二维空间是它的特征空间。

1.2 K近邻算法是怎么分类的？

下面的图片就是二维空间物体的分类问题，我们很明显可以看出图中有红蓝两类。绿色的圆型是新添加的一个图形。

然后解释一下什么是K近邻算法的计算过程，由于OpenCV官方的教程过于形象，在此只做简单的翻译：

看上面的图片：我们究竟要把它放在红色的队伍里面，还是放在蓝色的队伍里面。

最起初的观点，我们直接把它放在红色里面，因为红色离他最近！（这就是近邻的意思）反驳的观点要说了，如果蓝色很多怎么办，那样我们就要重新考虑了，现在假设我们考虑距离它最近的三个邻居的颜色，决定它的分类，我们看到它周围最近的3个邻居中，红色2个>蓝色1个（蓝色虽然两个等距，但是限定了取最近的三个，所以蓝色取1个），那么它还是归红类，如果我们找它周围5个邻居呢，红色2个<蓝色3个，那就把它归为蓝色，如果7个邻居呢，红色2个<蓝色5个，归为蓝色类。从上面的分类过程中，我们就可以把选取邻居的个数抽象成K，这就是K近邻算法中K的含义。下面的表格把上面的分析过程整理了一下：