29、深度神经网络在声源分离中的应用

深度神经网络在声源分离中的应用

1. 引言

人工智能和深度学习正处于热潮之中，对人类生活和产业发展产生了重大影响。深度学习正在改变世界，许多解决方案和应用已经成功开发。基于深度学习的声源分离吸引了大量研究人员关注这一新兴趋势。各种深度学习算法的信号处理技术被集成，以完成不同的挑战性任务。

2. 深度机器学习

2.1 深度频谱掩蔽

语音分离或增强可视为一个回归问题，可通过基于深度神经网络（DNN）模型的监督学习来解决。深度频谱映射或掩蔽通过深度学习实现。

在实际应用中，通常计算1024点短时傅里叶变换，窗口大小为64ms，重叠为32ms。在时间t的混合频谱信号$x_{t}^{mix}$可从频谱信号的幅度或对数幅度获得，也可采用梅尔频谱数据。DNN在时间t的输入向量$x_t$由以帧t为中心、两侧各有$\tau$个相邻帧的混合频谱信号窗口组成：
[x_t = [(x_{t - \tau}^{mix})^{\top}, \cdots, (x_{t}^{mix})^{\top}, \cdots, (x_{t + \tau}^{mix})^{\top}]^{\top} \in R^{M(2\tau + 1)}]
其中M是频率 bins 的数量。输入向量中包含了输入频谱的时间动态，这对声源分离有帮助。

DNN用于学习混合信号与其两个源信号之间的映射函数。目标是使用具有L层权重参数$w = {w^{(l)}} {l = 1}^{L}$的全连接DNN将混合信号$x_t$分解为两个源信号$\hat{x} {1,t}$和$\hat{x} {2,t}$。连接到输出层L的权重包括两个源的