15、深入理解表征学习：原理、方法与应用

深入理解表征学习：原理、方法与应用

1. 表征学习概述

在机器学习领域，信息的表示方式对处理任务的难易程度有着显著影响。例如，用长除法计算 210 除以 6 很容易，但如果用罗马数字表示这些数字，任务就会变得复杂。在机器学习中，一个好的表征通常能让后续的学习任务更轻松，表征的选择往往取决于后续的学习任务。

监督学习训练的前馈网络可以看作是一种表征学习。网络的最后一层通常是线性分类器，其余层则学习为该分类器提供表征。监督训练会使每个隐藏层（尤其是顶部隐藏层附近）的表征具有使分类任务更简单的属性。

除了监督训练的前馈网络，还有其他类型的表征学习算法，它们常被明确设计为以特定方式塑造表征。例如，若要学习一个便于密度估计的表征，可以设计一个目标函数，鼓励表征向量的元素相互独立。

表征学习的一个重要意义在于它为无监督和半监督学习提供了途径。在实际应用中，我们通常有大量未标记的训练数据和相对较少的标记训练数据。仅在标记子集上进行监督学习容易导致过拟合，而半监督学习可以通过利用未标记数据来解决这个问题。具体来说，我们可以先为未标记数据学习良好的表征，然后用这些表征来解决监督学习任务。

2. 贪心逐层无监督预训练

无监督学习在深度神经网络的复兴中起到了关键的历史作用，它使研究人员首次能够在不依赖卷积或循环等特殊架构的情况下训练深度监督网络，这种方法被称为贪心逐层无监督预训练。

贪心逐层无监督预训练依赖于单层表征学习算法，如受限玻尔兹曼机（RBM）、单层自编码器、稀疏编码模型等。每一层都通过无监督学习进行预训练，将前一层的输出作为输入，并输出数据的新表征，期望新表征的分布或其与其他变量（如待预测的类别）的关系更简单