机器学习笔记（一）：K-NN

k近邻笔记

k-nn：一种基本的分类与回归方法，不具有显式的学习过程，实际上是利用训练数据集对特征空间进行划分作为其分类的模型。
k-nn的三要素：k值的选择，距离度量，分类决策规则。
k-nn算法：

距离度量

：
$$x_i={\left(x_i^{(1)},x_i^{(2)},\cdots ,x_i^{(n)}\right)}^T$$$$x_j={\left(x_j^{(1)},x_j^{(2)},\cdots ,x_j^{(n)}\right)}^{\mathrm{T}}$$
$$x_j，x_i$$的距离$$L_p$$定义为：
$$L_p\left(x_i,x_j\right)={\left(\sum _{l=1}^n{\left|x_i^{(l)}-x_j^{(l)}\right|}^p\right)}^{\frac{1}{p}}$$
欧式距离：$$L_2\left(x_i,x_j\right)={\left(\sum _{l=1}^n{\left|x_i^{(l)}-x_j^{(l)}\right|}^2\right)}^{\frac{1}{2}}$$
曼哈顿距离：
$$L_1\left(x_i,x_j\right)=\sum _{l=1}^n\left|x_i^{(l)}-x_j^{(l)}\right|$$
各个坐标距离的最大值：
$$L_{\infty }\left(x_i,x_j\right)=\underset{l}{\max }\left|x_i^{(l)}-x_j^{(l)}\right|$$
各距离关系图：

note：由不同的距离度量所确定的最近邻点是不同的。

K值的选择：

较小的K值：近似误差减小，估计误差增大；对邻近的实例点非常敏感；整体模型变复杂，容易过拟合。
较大的K值：减小估计误差，近似误差增大；与实例点距离较远的点也会对预测起作用，产生预测误差。
通常k值选取一个比较小的数值，采取交叉验证法来选取最优的k值。
通常K是不大于20的整数。

分类据测规则：

k-nn中一般使用的分类据测规则是多数表决，即使得经验风险最小化。

K近邻法的实现：kd树：

实现k近邻算法时主要考虑的问题是：如何对训练数据进行快速k近邻搜索，尤其是在特征空间维数大或者训练数据容量大的时候。
kd树：适用于训练实例数远大于空间维数时的k近邻搜索，当空间维数接近训练实例数时，效率下降接近线性扫描。
例子：