在使用深度学习训练模型时,我们需要先对语音信号进行变换,常用的提取特征的方法有梅尔频率倒谱系数(MFCC)和滤波器组(Filter Banks)。这篇文章讲讲如何对原始的语音信号做以上两种处理。
语音处理在任何语音系统中都扮演着重要的角色,无论它是语音识别(ASR-Automatic Speech Recognition)还是声纹识别(Speaker Recognition)等等。梅尔频率倒谱系数(MFCC)很长一段时间曾是非常流行的特征。但最近,滤波器组(Filter Banks)变得越来越流行。在这篇文章中将讨论滤波器组(Filter Banks)和MFCC,以及为什么滤波器组变得越来越流行。
计算滤波器组和MFCC涉及一些相同的过程,在这两种情况下,都会计算滤波器组,在此基础上通过一些额外的计算步骤可以得到MFCC。简而言之,信号通过预加重滤波器;然后将其切成(重叠的)帧,并将窗口函数应用于每个帧;之后,在每个帧上进行傅立叶变换(或更具体地说是短时傅立叶变换),并计算功率谱;然后计算滤波器组。为了获得MFCC,将离散余弦变换(DCT)应用于滤波器组,保留多个所得系数,而其余系数则被丢弃。Filter Banks和MFCC两种情况的最后一步为平均归一化。
在本文中,使用了一个16位PCM wav文件,名为“ OSR_us_000_0010_8k.wav”,其采样频率为8000 Hz。wav文件是干净的语音信号,包括单个语音,在其中说出一些句子,中间有一些停顿。为简单起见,使用了信号的前3.5秒,该时间大致对应于wav文件中的第一句话。
音频下载地址:http://www.voiptroubleshooter.com/open_speech/american/OSR_us_000_0010_8k.wav
这里使用的是Python 2.7.x,NumPy和SciPy。这篇文章中使用的一些代码基于该存储库中可用的代码。
import numpy
import scipy.io.wavfile
from scipy.fftpack import dct
sample_rate, signal = scipy.io.wavfile.read('OSR_us_000_0010_8k.wav') # File assumed to be in the same directorysignal = signal[0:int(3.5 * sample_rate)] # Keep the first 3.5 seconds
原始信号在时域中具有以下形式:
时域信号
可以看下频谱图(Specgram可以看出频率的分布):
import scipy.io.wavfilefrom scipy.fftpack import dctimport matplotlib.pyplot as pltimport numpy as npdef show_specgram(): plt.specgram(signal, Fs=sample_rate) plt.xlabel('Time') plt.ylabel('Frequency') plt.show()def show_amplitude(): plt.plot(signal) # label the axes plt.ylabel("Amplitude") plt.xlabel("Sample") # set the title plt.title("Sample Wav") # display the plot plt.show()sample_rate, signal = scipy.io.wavfile.read('OSR_us_000_0010_8k.wav')signal = signal[0:int(3.5 * sample_rate)]show_amplitude()show_specgram()