13、语音识别与图像语义表示技术解析

语音识别与图像语义表示技术解析

1. 语音识别技术进展

语音识别技术在不断发展，以解决各种实际应用中的问题。

1.1 鲁棒语音识别模型

为解决在鲁棒语音识别中应用蒸馏联邦学习技术时遇到的非独立同分布数据和模型缺乏个性化的问题，采用了带有个性化局部蒸馏的算法。训练得到的鲁棒语音识别模型具有高鲁棒性，在军事设备控制任务中得到应用，准确率高达 92%，能够完成设备控制任务。

1.2 新型语音识别系统

传统语言模型 n - gram 存在忽略词语语义相似性和参数大等问题。针对这些问题，提出了一种新型语音识别系统。该系统使用中文音节（拼音）作为中间字符，并采用深度前馈序列记忆网络（DFSMN）作为声学模型，将语音转换为中文音节。然后，将拼音到汉字的转换解释为翻译任务，引入 Transformer 作为语言模型。同时，为降低 Transformer 的计算复杂度，在计算注意力权重时引入 Hadamard 矩阵进行过滤，丢弃低于阈值的参数，使模型解码速度更快。

在 Aishell - 1 和 Thchs30 等数据集上的实验表明，与 DFSMN 结合 3 - gram 模型相比，基于 DFSMN 和改进 Transformer 的语音识别系统在最优模型上的字符错误率下降了 3.2%，达到 11.8%；与 BLSTM 模型语音识别系统相比，字符错误率相对下降了 7.1%。

1.3 混合网络 Conformer

Conformer 块的计算公式如下：
其中 FFN 是前馈模块，MHSA 是多头自注意力模块，Conv 是 2×2 卷积模块。它类似于三明治结构，前后是前馈模块，灵感