9、复值深度学习：堆叠去噪自编码器与深度信念网络

复值深度学习：堆叠去噪自编码器与深度信念网络

1. 引言

深度学习领域近年来发展迅速，在研究和工业应用中都取得了显著成果，并行计算能力的提升也为其发展提供了有力支持。早期的深度信念网络，通过无监督预训练，能让深度神经网络架构比浅层网络表现更优。而复值深度学习领域则刚刚兴起，复值卷积神经网络、复值循环神经网络等都展现出了比实值网络更有趣的特性。基于这些进展，本文将介绍复值堆叠去噪自编码器和复值深度信念网络。

2. 复值堆叠去噪自编码器

2.1 复值自编码器结构

复值自编码器由编码器和解码器两部分组成。编码器将输入转换为一种表示（代码），解码器则将该代码重构为输入的近似。其目标是获得输入的一种表示，使得重构后的结果尽可能接近原始输入。

编码器的映射表示为 (f(x))，将维度为 (d) 的输入向量 (x) 转换为维度为 (d’) 的表示 (y)：
[
\begin{align }
y &= y_R + ıy_I\
&= f(x)\
&= ReLUC(Wx + b)\
&= ReLU(W_Rx_R - W_Ix_I + b_R) + ıReLU(W_Rx_I + W_Ix_R + b_I)
\end{align }
]
其中，(z = z_R + ız_I)，(z_R) 和 (z_I) 分别表示复矩阵 (z) 的实部和虚部，(ı) 为虚数单位（(ı^2 = -1)）。这里使用拆分复 ReLUC 非线性函数，分别对复数的实部和虚部应用 ReLU 函数：
[
ReLUC(x_R +