西工大 ASLP 实验室在 WeNet 中开源基于 CPPN 的神经网络热词增强语音识别方案

语境偏置（Contextual biasing）旨在将语境知识集成到语音识别（ASR）系统中，以提高在相关领域词汇（俗称“热词”）上的识别准确率。在许多ASR场景中，待识别语音中可能会包含训练数据中数量很少或完全没出现的短语，例如一些领域专有名词、用户通讯录中的人名等，这些短语的识别准确程度对用户体验或下游任务的影响很大，但对于在通用数据上训练ASR系统来说又难以完全正确识别。因此语境偏置方法具有重要价值，旨在提升在这些“热词”上的识别准确率。

西工大音频与语音处理研究组（ASLP@NPU）近期在语音研究顶级会议 INTERSPEECH2023发表了论文题目为“Contextualized End-to-End Speech Recognition with Contextual Phrase Prediction Network”。该论文提出了一种基于热词短语预测网络的深度热词增强方法，该网络利用热词编码来预测语音中的热词，并通过计算偏置损失来辅助深度偏置模型的训练。所提出的方法能够应用在多种主流端到端ASR模型上，显著改进模型在热词数据上的识别准确率。

该方案的代码主要由该论文的一作黄凯勋同学完成，目前已开源在WeNet社区，详见：https://github.com/wenet-e2e/wenet/pull/1982

基于规则的热词增强

WeNet 之前实现的热词方案为基于规则的热词增强，即在解码过程中匹配到热词列表中的词时，给予该解码路径一定的奖励，这样含热词的搜索路径概率更大，更容易被识别出来。详见：

WeNet 热词增强 2.0 强势来袭

WeNet 更新：支持热词增强

虽然该方案在一般情况下也能有不错的处理能力，但对于训练中少见或没有见过的词即 rare word 的识别效果却非常很差。本质上因为该方法为浅融合（shadow fusion，或者后融合）的热词方案，在训练中没有见过，很难预测出来，在解码候选路径中根本没有出现，所以再怎么奖励也无济于事。而下文介绍的神经网络的热词则为深融合（deep fusion，或者前融合）则可以非常有效的解决 rare word 的问题，同时在常见热词识别也有更好的效果。

神经网络热词增强

基于神经网络的热词增强在端到端ASR模型中引入了一组独立的偏置模块来建模、集成热词信息，将热词增强的过程放到了神经网络模型推理的过程中。相比于传统的基于解码图的热词增强方案，神经网络热词增强使用上十分灵活，对于较小的热词列表可以取得优于解码图增强方案的效果，并且对于训练集中从未出现的罕见词也有着良好的增强效果。

近年来，神经网络热词增强方法得到了快速的发展。在2018年，谷歌首先提出了 CLAS 模型 [2]，在 LAS 模型上通过全神经网络的方式集成热词信息。CLAS 的模型结构如下图所示，其中包含的两个偏置模块为：

• 热词编码器（Bias Encoder）：通过 RNN 对热词信息进行编码，将不等长的热词编码为相同维度的热词嵌入。

• 热词偏置层（Attention）：包含一个多头注意力层，使用音频编码作为 Query，热词编码作为 Key 和 Value，查询与当前音频相关的热词，提取热词感知编码。

后续的神经网络热词增强研究基本沿袭自 CLAS，分为“编码热词、查询音频相关热词并集成信息”两步。在其他 ASR 模型上，提出了适用于 RNNT [3] 以及 CIF [4] 模型的神经网络热词增强模型，在神经网络增强方法上也产生了许多变体，如 TCPGen [5] 和 NAM [6] 等。

CPPN 论文介绍

之前的神经网络热词增强研究大多探索在如 RNNT 等 ASR 模型上实现或提升热词增强的效果，缺少在 AED 模型上有效的纯神经网络热词增强方法。因此，我们最初的动机就是寻找 AED 模型上有效的神经网络热词增强方案，并且由于我们使用 WeNet 框架进行实验，基于 attention rescore 解码依靠 CTC 后验的特点，我们希望能够在 Encoder 部分就能进行