7、日常对话语音识别系统对比研究

日常对话语音识别系统对比研究

1. 研究方法

本研究选取了两种截然不同的自动语音识别（ASR）系统，即OpenAI Whisper和NTR Acoustic Model，对195段语音录音进行转录。
- NTR Acoustic Model ：这是Conformer的非自回归无头变体，采用CTC损失而非Transducer，基于NVIDIA NEMO Conformer - CTC large。它结合了自注意力和卷积模块，自注意力层学习全局交互，卷积层捕捉局部相关性。该模型除了在原始数据集上训练外，还使用了NTR MediaSpeech数据集的俄罗斯部分。
- OpenAI Whisper ：是一个编码器 - 解码器的音频转文本Transformer，接收80通道对数幅度梅尔频谱图作为输入。它采用多任务方法在大型多样数据集上训练，任务包括转录、翻译、语音活动检测、对齐和语言识别。

为评估模型性能，使用了词错误率（WER）。NTR Acoustic Model平均WER为65%，最佳表现为30%，最差为99%；Whisper系统平均WER为49%，最佳为7%，最差为99%。

2. 词汇统计分析

为从词汇角度评估模型，使用AntConc创建了三个频率词典，分别是专家转录的参考词典、NTR Acoustic Model的识别结果词典和Whisper系统的识别结果词典。

2.1 频率列表比较

<

转录类型	词数（tokens）