7、监督分类算法与实际应用考量

监督分类算法与实际应用考量

1. k - 近邻算法（k - NN）

1.1 算法概述

k - 近邻（k - NN）算法是一种著名的惰性学习算法。惰性学习技术将大部分计算推迟到分类阶段，而非在训练阶段完成。在训练阶段，k - NN 模型并不学习数据的通用特征，而是记录所有传入的训练数据点，并在分类时利用这些信息对测试样本进行局部泛化。

1.2 算法步骤

• 训练阶段 ：将所有特征向量和对应的样本标签存储在模型中。
• 分类预测 ：测试样本的 k 个最近邻样本中最常见的标签即为预测结果。对于回归问题，通常取测试样本的 k 个最近邻样本标签的平均值作为预测结果。

1.3 距离度量

在 n 维特征空间中（n 为特征向量的大小），确定点与点之间“接近程度”的距离度量通常为：
- 连续变量使用欧几里得距离。
- 离散变量使用汉明距离。

1.4 优缺点

优点

• 训练阶段简单快速，与其他学习算法相比，通常能在短时间内完成训练。

缺点

• 模型规模大 ：模型必须存储所有训练数据的特征向量和标签，导致模型占用大量空间。例如，一个接收 1GB 训练特征向量的 k - NN 模型至少需要 1GB 的存储空间。
• 分类速度慢 ：所有泛化工作都推迟到分类阶段