17、深入理解对偶重建：从无监督到半监督学习

深入理解对偶重建：从无监督到半监督学习

1. 无监督设置下的对偶重建理解

在无监督学习中，对偶重建旨在最小化一个目标函数，以找到低分布差异且接近最小复杂度映射的函数。具体来说，目标函数如下：
[
\min_{h \text{ s.t } C(h)=k_2} \left{ \text{disc}(h \circ D_X, D_Y) + \lambda \inf_{g \text{ s.t } C(g)=k_1} R_{D_X}[h, g] \right}
]
其中，(k_1) 是从域 (X) 到域 (Y) 具有小差异的最小复杂度。

1.1 最小复杂度概念

为了正式研究相关假设，引入了最小复杂度的概念。考虑图像翻译任务，聚焦于以下形式的函数：
[
f := F[W_{n+1}, \ldots, W_1] = W_{n+1} \circ \sigma \circ \ldots \circ \sigma \circ W_2 \circ \sigma \circ W_1
]
其中，(W_1, \ldots, W_{n+1}) 是从 (R^d) 到自身的可逆线性变换，(\sigma) 是一个非线性逐元素激活函数，通常为参数 (0 < a \leq 1) 的 Leaky ReLU。

函数 (f) 的复杂度 (C(f)) 定义为满足 (f = F[W_{n+1}, \ldots, W_1]) 的最小 (n) 值。直观上，(C(f)) 是能实现该函数的最浅神经网络的深度。

1.2 密度保持映射

一个 (\epsilon_0) - 密度保持映射（(