3、结构化表示学习：从解缠到近似等变

结构化表示学习：从解缠到近似等变

1. 结构化表示学习概述

深度学习在过去十年取得了巨大成功，这很大程度上归功于深度神经网络能够直接从数据中学习有价值的内部表示。这些表示如今处于许多先进技术的前沿，能从高维数据中提取抽象语义，推动了自动图像修复和自然语言理解等技术的发展。

不过，学习到的表示的泛化能力严重依赖于归纳偏置，归纳偏置可以理解为预先限制可能假设的搜索空间。如果没有归纳偏置，理论上就无法学习到超出训练数据的泛化能力。现代机器学习研究人员默认采用了许多特定任务的归纳偏置，例如对空间结构化数据使用卷积。

结构化表示学习领域应运而生，旨在将特定的归纳偏置融入深度神经网络，期望这些结构能帮助机器学习模型更好地泛化，变得更强大、高效。虽然对于“好”的表示应具备哪些结构仍存在争议，但有一些普遍认可的理想属性，如下表所示：
| 属性 | 说明 |
| ---- | ---- |
| 统计独立性和可控性 | 表示的各个部分相互独立且可单独控制 |
| 输出对称性 | 输出在特定变换下保持对称 |
| 稀疏编码 | 表示具有稀疏性 |
| 因果性 | 表示反映数据中的因果关系 |

其中，群等变性是一种有益的归纳偏置。以平移为例，这种等变结构产生了卷积神经网络，降低了全连接人工神经网络对图像小位移和变形的敏感性。卷积架构以及平移等变性的采用，被认为是 2010 年代初深度学习领域快速发展的驱动因素。

另一个相关的研究方向是开发在输出空间尊重底层数据对称性的表示。等变表示是指对于给定的输入变换，输出以已知的可预测方式进行变换。它与解缠表示有很多相似之处，因为保持对象身份的变换可以称为对称变换。