9、机器学习中的监督学习、无监督学习与聚类分析

机器学习中的监督学习、无监督学习与聚类分析

1. 监督学习与数据修正

在监督学习中，有时模型会出现对图像的误判。例如，在识别模糊数字图像时，底部左侧的数字可能难以辨认，即使对人类来说，也难以确定它是 5 还是 3，但算法判定为 3。通过辨别哪些图像被误判，我们可以进一步训练模型。具体操作是将这些图像标记上正确的数字，然后作为新的训练集反馈给模型，这是数据科学过程的第五步。这样能使模型更加准确，学习、预测、修正的循环持续进行，预测结果也会更精确。不过，目前使用的是受控数据集，所有示例大小相同，且均为 16 级灰度。而验证码中的图像大小、字符长度和灰度都各不相同，所以目前还没有能准确预测任何验证码图像的模型。

在这个监督学习示例中，很明显，如果没有与每个图像关联的标签来告知程序图像显示的数字，就无法构建模型并进行预测。与之相反，无监督学习方法不需要对数据进行标记，可用于为无结构的数据集赋予结构。

2. 无监督学习的必要性

大多数大型数据集的数据没有标签，因此除非对所有数据进行分类并添加标签，否则监督学习方法对这些数据将不起作用。无监督学习方法能发挥作用的原因如下：
- 可以研究数据的分布，推断分布不同部分的数据真相。
- 可以研究数据的结构和值，从中推断出新的、更有意义的数据和结构。

无监督学习有多种技术，但在现实世界中，我们始终朝着数据科学过程第一阶段定义的研究目标努力，因此可能需要组合或尝试不同的技术，才能为数据集添加标签以使用监督学习技术，甚至实现研究目标。

3. 识别数据中的潜在结构

并非所有事物都能直接测量。例如，初次见面时，我们可能根据对方的行为和反应来猜测他们是否