语音识别(ASR)论文优选：Tied & Reduced RNN-T Decoder

声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。平时搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html。如转载，请标明出处。欢迎关注微信公众号：低调奋进

Tied & Reduced RNN-T Decoder

本文为google在2021.09.15发表的文章，主要的工作为优化rnn-t的decoder模型大小，使其在性能不下降的情况下，速度提高3到4倍。具体的文章链接

https://arxiv.org/pdf/2109.07513.pdf

---

1 研究背景

近几年的端到端语音识别受到更多人的关注，具有代表性的系统为RNN-T。边缘设备的爆炸式增长，增加在边缘设备上运行端到端语音识别系统的需求，因此本文主要研究在不牺牲系统性能情况下，优化​RNN-T的decoder的大小。

2 详细设计

RNN-T架构如图1所示，主要由三部分组成​：encoder，predicition network (PN)和 joint network​。本文主要优化prediction network和joint network​部分。第一个优化方案是对prediction的优化，如如图2所示。该网络替换掉了​LSTM结构。PN网络中的Pn为位置向量，En为embedding 向量，N为context的长度。​其中average和multihead求平均如下面的公式。第二个优化方案称为tied embeddings，该方案就是把图1中de和dh大小设置一样，然后把embedding和fc layer的weights进行共享，这样就大大较少decoder​的参数量。可参考table1所示，本文的ReducedSmall参数只有1.9M，而原始lstm为23M。