8、图像分类：从k - NN到参数化学习

图像分类：从k - NN到参数化学习

1. k - NN分类器详解

在图像分类领域，k - NN（k近邻）算法是一种简单且基础的分类方法。

1.1 k - NN超参数

在运行k - NN算法时，有两个关键的超参数需要关注：
- k值 ：k值的选择至关重要。如果k值过小（如k = 1），虽然算法效率较高，但容易受到噪声和离群数据点的影响；若k值过大，则可能导致分类结果过度平滑，增加偏差。
- 距离度量 ：常用的距离度量有欧几里得距离和曼哈顿距离，选择合适的距离度量对分类结果有重要影响。

1.2 实现k - NN分类器

我们将使用Animals数据集来训练和评估k - NN分类器，具体步骤如下：
1. 收集数据集 ：Animals数据集包含3000张图像，分为狗、猫和熊猫三类，每类各1000张。图像为RGB色彩空间，我们将每张图像调整为32×32像素大小，这样每张图像就由32×32×3 = 3072个整数表示。
2. 划分数据集 ：为了简单起见，我们将数据集划分为训练集和测试集，不使用验证集进行超参数调整。
3. 训练分类器 ：k - NN分类器将在训练集图像的原始像素强度上进行训练。
4. 评估分类器 ：训练完成后，我们将在测试集上评估分类器的性能。

以下是实现k - NN分类器的Python代码：