7、深度神经网络与循环神经网络在源分离中的应用

深度神经网络与循环神经网络在源分离中的应用

1. 深度神经网络（DNN）

深度神经网络在源分离领域有着重要的应用。其误差反向传播算法包含前向传播和反向传播两个过程。
- 误差反向传播算法 ：
- 前向传播 ：计算并传播各个节点的激活值和输出值。
- 反向传播 ：计算并传播各个节点的局部梯度，这些局部梯度是通过小批量时间信号从误差函数累积得到的。例如，在每个时间步 $t$，更新连接权重 $w^{(2)} {mk}$ 的导数可以简单表示为隐藏层神经元 $m$ 的输出 $z {tm}$ 与输出层神经元 $k$ 的局部梯度 $\delta_{tk}$ 的乘积。同样的计算方式也适用于更新输入层 $d$ 和隐藏层 $m$ 之间的连接权重 $w^{(1)}_{dm}$。
- 深度神经网络在深度学习中的实践 ：
- 深度的重要性 ：在单通道源分离中，混合信号和源信号的频谱之间的映射非常复杂。基于线性和浅层模型（如 ICA、NMF 和 NTF）的源分离性能容易受到限制，而深度非线性模型可以解决这一弱点。深度学习追求层次化表示，允许在时间信号中进行非局部泛化，增加结构学习的可理解性。
- 训练挑战 ：DNN 由许多全连接层组成，参数空间巨大，训练过程难以保证误差反向传播算法的收敛性，且使用深度结构没有理论保证能有良好的性能。在某些情况下，随机初始化训练的 DNN 可能比浅层模型表现更差。
- 深度信念网络（