30、机器学习中的分类器详解

机器学习中的分类器详解

1. 线性分类器

线性分类器将数据集分为两类。对于二维点，它是一条直线；对于三维点，它是一个平面；对于更高维的点，它是一个超平面（平面的广义形式）。

线性分类器通常是最快的分类器，因此在分类速度至关重要时经常使用。当输入向量稀疏（即大部分值为零）或维度数量较大时，线性分类器通常效果良好。

2. kNN 算法

2.1 kNN 简介

kNN（“k 最近邻”）算法是一种分类算法。简而言之，彼此接近的数据点被分类为属于同一类。当引入一个新点时，它被添加到其最近邻的多数类中。

例如，假设 k 等于 3，引入一个新的数据点。查看其 3 个最近邻的类别，假设它们是 A、A 和 B。那么通过多数投票，新的数据点被标记为 A 类的数据点。

2.2 kNN 特点及应用场景

• kNN 算法本质上是一种启发式方法，并非具有复杂数学基础的技术，但它仍然是一种有效且有用的算法。
• 如果你想使用简单的算法，或者认为数据集的性质高度无结构，可以尝试 kNN 算法。
• kNN 算法虽然非常简单，但可以产生高度非线性的决策。可以在搜索“相似”项目的应用中使用 kNN。通过创建项目的向量表示来衡量相似度，然后使用适当的距离度量（如欧几里得距离）比较向量。例如，搜索语义相似的文档就是 kNN 搜索的具体示例。

2.3 kNN 平局处理方法

奇数的 k 值不太可能导致平局投票，但仍有可能。例如，假设 k 等于 7，引入一个新的数据点，其七个最近邻属于集合 {A, B, A,