RNN Transducer(RNN-T)——李宏毅人类语言处理学习笔记

最新推荐文章于 2025-04-19 13:10:23 发布
原创 最新推荐文章于 2025-04-19 13:10:23 发布 · 3.3k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#rnn #学习 #深度学习

本文探讨了在语音识别领域中两种重要的模型：(RNA)Recurrent Neural Aligner与RNN-Transducer(RNN-T)。RNA作为一种介于CTC与RNN-T之间的方法，通过使用循环神经网络改进了输出序列的依赖关系。而RNN-T则能够处理一个输入对应多个输出的情况，适用于复杂的语音转换场景。两者都面临着如何有效确定空标签(null)的问题。

(RNA)Recurrent Neural Aligner

其实他是在RNN-T之后被提出的，有点像CTC和RNA之间过度的方法。
CTC输出时是相互独立的，我们不想让他相互独立，让其在输出时看一看前面的东西。把Linear classifie换成rnn或者lstm即可，这就是rna。
在这里插入图片描述

RNN-T

RNA和CTC都是吃一个输入，输出一个token，那有时候我们需要吃一个输入，有多个输出，例如吃一个发音对应多个token，RNN-T便可以做这个事情。

一个输入进来，一直输出到Model觉得满意为止。有T个声音讯feature，输出T个Null，最终辨识的结果要把null拿掉。
在这里插入图片描述
RNN-T和CTC有同样的问题，需要知道何时输出null，但是这种Label在training是没有的，这种label需要自己去训练。
例如下图，你必须要在好棒之间插入四个null，RNN-T和CTC一样会穷举所有的element
在这里插入图片描述

实际上RNN-T会另外训练一个RNN，其作用有点像是一个language model，遇见null时忽略。
在这里插入图片描述

CTC与RNN-T的对比
u013250861的博客
06-20 313
RNN-T模型将声学特性和语言特性联合起来建模，消除了CTC模型中输出无关的缺点。然而，这种引人注目的特性是以训练过程中高内存和计算消耗为代价的。具体来说，RNN-T损失函数在一个形状为(N, T, U, V)的4D张量上进行计算，其中N是批量大小，T是声学编码器的输出长度，U是预测网络的输出长度，V是词汇表大小。
ASR-端对端模型02：RNN-T（RNN-Transducer）【Sequence Transduction with Recurrent Neural Networks】
u013250861的博客
05-29 500
而使用小的 vocabulary size， 可能会影响模型的性能。如果使用一个很小的 vocabulary size，那么对于 out-of-vocabulary (OOV) 这种问题，就会更加常见。而降低模型的参数量，也会影响模型的性能。所以，RNN-T 训练时，所需的内存正比于 N, T , U, C 这 4 个数的乘积 NTUC。相比较之下，RNN-T 模型的训练，对内存的要求高了一个数量级。RNN-T 模型最后一层的输出是一个 4-D 的 tensor，维度是 (N, T, U, C), 其中。
分享本周所学——人工智能语音识别模型CTC、RNN-T、LAS详解
热门推荐
weixin_48978134的博客
06-26 1万+
本人是一名人工智能初学者，最近一周学了一下AI语音识别的原理和三种比较早期的语音识别的人工智能模型，就想把自己学到的这些东西都分享给大家，一方面想用浅显易懂的语言让大家对这几个模型有所了解，另一方面也想让大家能够避免我所遇到的一些问题。然后因为我也只是一名小白，所以有错误的地方还希望大佬们多多指正。目录一、咋识别啊？二、CTC是啥玩意啊？1. 网络结构2. CTC Loss三、RNN-T又是个啥东西啊？1. 网络结构2. 坎坷的调试过程三、LAS又是怎么回事1. 网络结构 2. 没有那么坎坷的调试过程
Speech recognition模型：RNN Transducer(RNN-T)
u014765410的博客
10-17 1538
2，在output（token）上方，加了一个RNN，其input为token，当token为null时，则自动将其忽略。1，原始的训练数据为（语音，文本）对，但是，实际的模型训练时，需要的训练数据为paired train data，即（acoustic feature，token)，所以，需要对训练数据进行alignment。1，RNA中，将CTC的classifier改为了一个LSTM，使得模型在分类时，不单考虑了当下time step的h，同时也考虑了前一个time step的token。
探索高效语音识别：RNN-Transducer 深度学习模型实践
gitblog_00004的博客
06-08 675
探索高效语音识别：RNN-Transducer 深度学习模型实践 本文将向您介绍一款出色的开源项目——RNN-Transducer，这是一个基于PyTorch实现的深度学习模型，专门用于实时语音识别任务。该项目充分利用了循环神经网络（RNN）和序列到序列架构的优势，旨在提高语音转文本的准确性和效率。 项目介绍 RNN-Transducer项目是一个精心设计的示例，它展示了如何利用高效的并行训练方法...
推荐文章：RNN-Transducer —— 您的端到端语音识别解决方案
gitblog_00050的博客
06-07 836
推荐文章：RNN-Transducer —— 您的端到端语音识别解决方案 在深度学习和自然语言处理领域，语音识别技术一直是研究的热点。今天，我们要向您隆重推荐一个基于PyTorch实现的高效开源项目——RNN-Transducer。这一项目专为端到端的语音识别设计，简化了传统语音处理流程，让开发者能够更快速地构建强大的语音应用。 项目介绍 RNN-Transducer，正如其名，是一个采用循环神经...
RNN-T
qq_50749521的博客
08-08 2915
RNN transducer
强大的端到端语音识别框架—RNN-T
bbbeoy的专栏
08-31 4986
前言： 基于联结时序分类(CTC)的声学模型不再需要对训练的音频序列和文本序列进行强制对齐，实际上已经初步具备了端到端的声学模型建模能力。但是CTC模型进行声学建模存在着两个严重的瓶颈，一是缺乏语言模型建模能力，不能整合语言模型进行联合优化，二是不能建模模型输出之间的依赖关系。RNN-Transducer针对CTC的不足，进行了改进，使得模型具有了端到端联合优化、具有语言建模能力、便于实现Online语音识别等突出的优点, 更加适合语音任务。 RNN-T介绍： RNN-Transducer模型实际上是
李宏毅《DLHLP》学习笔记4 - CTC, RNA, RNN-T, Neural Transducer, MoChA
好记性不如烂笔头
03-13 1466
最近在学习语音识别的知识，发现李宏毅老师今年也出了相应的视频，相应的课件可以从下面的位置获取：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html Youtube视频： https://youtu.be/AIKu43goh-8 https://youtu.be/BdUeBa6NbXA https://youtu.be/CGuLuBaLIe...
【笔记】DLHLP - 李宏毅 - 4 - 语音识别 - Part 3 CTC, RNN-T and more
YanqiangWang的专栏
07-08 507
Connectionist Temporal Classification (CTC) CTC可以用于线上实时地语音识别，编码器用的是单向的RNN，解码是用MLP来预测文字分布。 编码器将语音输入\(x^i\)编码成\(h^i\)，MLP再对它乘上一个权重，接上Softmax，得到词表V大小的概率分布。 但有时候当前的语音输入可能并不能对应实际的文本token，所以预测要额外多一个为空的...
【论文随笔5】Context-Aware Transformer Transducer for Speech Recognition
The Dawn
11-17 830
原文链接：【论文随笔5】Context-Aware Transformer Transducer for Speech Recognition - 知乎（封面来自Gent灯光节的Museum of the Moon，灯光节简介 Lichtfestival | Home）背景为了提高端到端的语音识别模型对于不常见单词识别的准确率，此文提出了一种上下文语境感知网络，可基于上下文信息提高语音识别…https://zhuanlan.zhihu.com/p/432320463 背景 为了提高端到端的语音识别模型对
李宏毅机器学习2021学习笔记（2）：Self Attention
weixin_51691386的博客
06-22 234
李宏毅机器学习2021学习笔记（2）：Self Attention 1.特点   传统机器学习深度学习任务一般为分类或者回归（输入为一个向量，输出为一个结果），而Self Attention有更复杂的输入输出，可以完成更复杂的任务。 2.三种情况 （1）每个向量输入有每个输出（并不孤立）   适用于词性标注（POS tagging） （2）多个向量输入只有1个输出   适用于情感分析（Sentiment analysis） （3）多个向量输入不确定个输出（seq2seq）   适用于语音识别、文本
在语音信号处理中，如何运用Transformer模型的Self-Attention机制提取特征，并实现高效的语音识别？请结合《李宏毅语音信号处理课程笔记：从Transformer到SpeechRecognition》的理论与实践内容进行解析。
11-04
课程笔记还涵盖了如何将LAS模型、CTC、RNN-T和Neural Transducer等技术与Transformer相结合，以及如何处理语音识别中常见的挑战，如时间长度不匹配问题和在线语音识别。 通过学习这些内容，你可以了解到如何构建和...
推荐文章：高效利用RNN-Transducer —— 加速您的语音识别之旅
gitblog_01171的博客
08-30 1156
推荐文章：高效利用RNN-Transducer —— 加速您的语音识别之旅 项目介绍 欢迎探索 transducer，一个旨在提升CPU和GPU（CUDA）上递归神经网络转导实现速度的开源库。通过Python绑定和PyTorch扩展，它为序列到序列的学习提供了一种强大的解决方案。灵感源自论文《Sequence Transduction with Recurrent Neural Networks...
训练集的识别率一直波动_未来：语音识别系统可以被训练 | 读论文
weixin_39815329的博客
12-03 227
一、概述端到端语音识别技术将语音识别系统中的各个组件整合至同一个神经网络框架中，与传统语音识别系统相比具有建模简洁，赋能组件之间联合优化以及系统占用空间小等优点，近几年逐渐成为语音识别领域里最重要的研究方向之一。现有的端到端语音识别系统主要包括基于 Connnectionist Temporal Classification (CTC)，基于 Sequence-to-sequence(Seq2Se...
RNN-T Training，RNN-T模型训练详解——语音信号处理学习（三）（选修三）
m0_56942491的博客
11-29 2188
我们看下面这张表。在解码部分，LAS 和 RNN-T 会考虑前面的时序对当前时序的影响。而 CTC 并不会考虑之前的时间步已经生成出来的token。所以 LAS 和 RNN-T 在解码部分是相对比较强的。在对齐部分，CTC 和 RNN-T 都是需要考虑对齐的。而因为中间的注意力层，LAS不用显式地考虑对齐，而是采用 soft alignment，使用注意力机制来找出语音和文字之间的关系。在训练部分，LAS 只需要直接训练就行，而 CTC 和 RNN-T 则需要将所有的对齐方式概率相加，比较麻烦。
李宏毅NLP-5-RNNT&Neural Transducer&MoChA
最新发布
uncle_ll的博客
04-19 912
说明：就是普通的 seq2seq 模型。通过编码器（Encoder）处理输入序列h1−h4h^1 - h^4h1−h4等隐藏状态），解码器利用注意力机制（attention）生成输出c0−c4c^0- c^4c0−c4等）。说明：解码器是线性分类器的 seq2seq 模型。通过引入空白符ϕ\phiϕ解决输入输出不对齐问题，每个时间步独立输出 token，后处理合并重复 token 并去除ϕ\phiϕ。说明：输入一个元素就要输出一个元素的 seq2seq 模型。
李宏毅DLHLP.07.Speech Recognition.6/7. RNN-T Training
老毛的博客
09-27 530
文章目录介绍How to sum over all the alignmentsTraining 介绍 本门课程是2020年李宏毅老师新课：Deep Learning for Human Language Processing（深度学习与人类语言处理） 课程网站：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html B站视频：https://www.bilibili.com/video/BV1EE411g7Uk?t=222 公式输入请参考：在线La
课程向：深度学习与人类语言处理 ——李宏毅，2020 (P32)
阿芒Aris的博客
09-16 1047
我们将学习来自“暗黑大陆的模型”——GPT-3，将学习到GPT-3的目标、实验结果、瑕疵和有趣的BUG
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我是小蔡呀～～～

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值