34、机器学习中的监督程度与深度学习技术

机器学习中的监督程度与深度学习技术

1. 监督程度的分类

机器学习方法可以根据收集训练和评估数据时所采用的监督程度和性质进行自然区分。虽然这种分类存在一定模糊性，但它能为我们的思考提供框架，并指引我们找到可能带来更好结果的方法。

1.1 监督学习

监督学习是分类和回归问题的常用范式。在监督学习中，我们会得到特征向量 $x_i$，每个向量都有一个相关的类别标签或目标值 $y_i$。这些标签 $y_i$ 代表了监督信息，通常来自手动标注过程，这限制了训练数据的潜在数量。

例如，谷歌的 AlphaGo 程序在训练其位置评估函数时，最初使用了人类大师的所有已发布棋局，但还需要更多数据。于是，它通过自我对弈的方式生成了更多训练数据。这种从环境中学习的思想被称为强化学习。虽然强化学习并非适用于所有场景，但寻找巧妙的方法来生成机械标注的训练数据总是值得的。

1.2 无监督学习

无监督学习方法试图在没有任何可信标准的情况下，通过提供标签（聚类）或值（排名）来发现数据中的结构。它们最适合用于探索性分析，帮助我们理解那些未经人工处理的数据集。

1.2.1 聚类

聚类是所有无监督学习方法的基础。即使在没有标签的情况下，聚类也可以为分类提供训练数据。如果我们假设找到的聚类代表了真实的现象，那么可以将聚类 ID 作为给定聚类中所有元素的标签，用于构建分类器来预测聚类 ID。

1.2.2 主题建模

主题建模是另一类重要的无监督学习方法，通常与基于给定词汇表的文档相关。文档通常围绕主题撰写，一个文档可能涉及多个主题。每个主题通常与一组特定的词汇相关联。例如