8、机器学习中的分类器：从最近邻到线性与多项式分类器

机器学习中的分类器：从最近邻到线性与多项式分类器

在机器学习的世界里，分类是一项至关重要的任务。它旨在根据数据的特征将其划分到不同的类别中。本文将深入探讨最近邻分类器和线性与多项式分类器的相关知识，包括巩固知识的问题、思考方向、计算机作业，以及线性分类器的原理和感知机学习算法。

1. 最近邻分类器相关巩固与拓展

1.1 巩固知识问题

• Tomek链接与冗余示例 ：使用表3.7中的训练示例，我们需要思考两个问题。一是判断是否存在Tomek链接，Tomek链接通常用于识别有害的示例，有助于提高分类的准确性。二是尝试通过移除至少一个冗余的训练示例，找到训练集的一个一致子集。这样做可以简化训练集，减少计算量，同时不影响分类的性能。
• 应用k - NN分类器到“pies”领域 ：当考虑将k - NN分类器应用到“pies”领域时，有几个关键因素需要考虑。首先是选择合适数量的最近邻，不同的k值会对分类结果产生不同的影响。其次是选择合适的距离度量方法，常见的有欧几里得距离、曼哈顿距离等。此外，还需要决定是否让最近邻的投票依赖于距离，例如距离较近的邻居可能具有更高的投票权重。
• 最近邻原则的其他变体
  • 替代距离度量 ：可以引入替代的距离度量，但要确保它们满足第3.2节末尾提到的公理。这些公理通常包括非负性、对称性和三角不等式等。例如，在某些情况下，马氏距离可能比欧几里得距离更适合处理具有不同方差的数据。
  • 修改投票