16、语音处理中的新型深度架构探索

语音处理中的新型深度架构探索

1. 特殊结构的Sigmoid网络

在语音处理的深度架构中，有一种特殊的Sigmoid网络结构，其表达式为：
[
\boldsymbol{\pi} k = \text{logistic}(\mathbf{A}_k\boldsymbol{\pi} {k - 1} + \mathbf{b} k + \mathbf{C}_k\mathbf{v}_t)
]
其中，(\boldsymbol{\pi}_k) 是第 (k) 层激活值的向量 ([\pi {k,i}] {i \in \mathcal{I}_h})，且 (\pi {k,i} \triangleq q_k(h_i = 1))。这可以看作是一个输入连接到所有层的特殊Sigmoid网络。这种结构是对一个模型展开的结果，在该模型中，任何隐藏变量都可能直接与观测值相连。

为了模拟传统情况，即第一层仅依赖输入，后续每层仅依赖前一层，我们可以让 (c_{k,i,l}) 仅在第一层（(k = 0)）时非零。同时，初始分布 (\pi_{k = 0,i}) 以及相关权重 (a_{k = 1,i,j}) 可以设为零。此外，我们还可以放宽原模型中 (a_{k,i,i} = 0) 的约束，以达到传统Sigmoid网络的通用性。

值得注意的是，传统的前馈Sigmoid网络也可以更简单地从一个深层的、逐层的二元马尔可夫随机场（MRF）推导得出，通过从输入开始到最后一层进行一次平均场更新的前向传播。这对应于我们框架中MRF结构和更新调度的一个特殊情况。对于给定的传统神经网络，我们可以用两种不同的方式来解释它，要么将其视为具有相同结