17、无监督深度学习与框架考量

无监督深度学习与框架考量

1 无监督深度学习概述

在深度学习中，超参数优化和内存占用是两个重要的考量因素。对于需要数天或数周来训练的模型，进行全面的网格搜索是不现实的。同时，更大的模型需要更多的内存空间，不过目前有许多量化技术，如参数量化或使用哈希参数值，可用于缩小模型大小。

目前我们主要探讨了用于监督学习的前馈神经网络，接下来将介绍一些把神经网络和深度学习扩展到无监督任务的架构，包括受限玻尔兹曼机（RBM）、深度信念网络和自动编码器。无监督模型旨在学习数据的表示，这些特征构成了无标签的数据，而大量无标签数据的易获取性使得无监督学习具有很大的吸引力。

1.1 基于能量的模型

基于能量的模型（EBMs）的灵感来源于物理学。系统中的自由能与观测的概率相关，高能量对应低概率观测，低能量对应高概率观测。因此，EBMs 的目标是学习一个能量函数，使数据集中观测到的示例具有低能量，未观测到的示例具有高能量。

概率分布通过能量函数来定义：
[p(x) = \frac{e^{-E(x)}}{Z}]
其中，(Z) 是归一化常数，也称为配分函数：
[Z = \sum_{x}e^{-E(x)}]
配分函数对于许多算法来说是难以处理的，因为它需要对输入 (x) 的所有可能组合进行指数求和。不过，在受限玻尔兹曼机的情况下可以进行近似计算。

学习有用的特征需要学习输入 (x) 的权重以及隐藏部分 (h)。观测 (x) 的概率可以表示为：
[P(x) = \sum_{h}P(x,h) = \sum_{h}\frac{e^{-E(x)}}{Z}]
自由能定义为：
[F(x) = -\log\