Neural Transducer, MoCha模型总结

最新推荐文章于 2025-03-26 18:05:55 发布
最新推荐文章于 2025-03-26 18:05:55 发布
阅读量1.5k 收藏 3
点赞数
分类专栏： 李宏毅笔记---深度学习与人类语言处理 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45866407/article/details/105976985
版权

Neural Transducer, MoCha笔记
首先，先来看看什么是Neural Transducer。
在这里插入图片描述

如上图所示，我们可以发现Neural Transducer其实就是在输出时加了一个attention。
在这里插入图片描述
我们可以把n个h来作为一个window，然后利用attention来进行输出处理。
在这里插入图片描述
根据上图也会对实际window的大小选择起到指导作用。
接下来，我们来看看什么是MoCha：
在这里插入图片描述
如上图所示，MoCha可以选择是否把一个h计入一个window中。
在这里插入图片描述
如上图，系统可以告诉z是否把h输入到一个window中。
在这里插入图片描述

在这里插入图片描述
就如以上两张图就说明了以上过程。

语音识别：经典模型【LAS、CTC，RNA，RNN-T、Neural Transducer，MoChA】
u013250861的博客
05-21 370
Text： a sequence of Token 长度：N，总种类数量：V。Sound： vectors sequence 长度：T，维度：d。语音模型：即将 sound 转为 text。
李宏毅《DLHLP》学习笔记4 - CTC, RNA, RNN-T, Neural Transducer, MoChA
好记性不如烂笔头
03-13 1422
最近在学习语音识别的知识，发现李宏毅老师今年也出了相应的视频，相应的课件可以从下面的位置获取：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html Youtube视频： https://youtu.be/AIKu43goh-8 https://youtu.be/BdUeBa6NbXA https://youtu.be/CGuLuBaLIe...
语音识别之CTC，RNA，RNN-T，Neural Transducer，MoChA模型详解——语音信号处理学习（四）
m0_56942491的博客
10-24 1806
LAS：就是 seq2seqCTC：decoder 是 linear classifier 的 seq2seqRNA：输入一个东西就要输出一个东西的 seq2seqRNN-T：输入一个东西可以输出多个东西的 seq2seqNeural Transducer：每次输入一个 window 的 RNN-TMoCha：window 移动伸缩自如的 Neural Transducer。
neural-transducer:此仓库包含一组神经传感器，例如序列到序列模型，专注于角色级任务
05-08
神经传感器 此仓库包含一组神经转换器，例如序列到序列模型，专注于角色级任务。 它为以下papar和讲习班提供动力。 叶卡捷琳娜·维洛莫娃（Ekaterina Vylomova），珍妮弗·怀特（Jennifer White），伊丽莎白·萨利斯基（Elizabeth Salesky），萨布丽娜·J·米尔克（Sabrina J.Mielke），吴世杰，爱德华多·庞蒂，罗恩·霍尔·莫兹莱，冉·兹米格罗德，约瑟夫·瓦尔沃达，斯维特拉娜·托尔多瓦，弗朗西斯·泰尔斯，埃琳娜·科利奇科，伊利亚·叶戈罗夫，娜塔莉娅·克里斯汉娜诺夫斯基，保拉·克拉扎诺夫斯基，Andrew Krizhanovsky，Tiago Pimentel，Lucas Torroba Hennigen，Christo Kirov，Garrett Nicolai，Adina Williams，Antonios Anastasopoulos
自动语音识别（ASR）技术详解
最新发布
DengCaixiang2021的博客
03-26 4389
自动语音识别技术经过多年的发展，已经从早期简陋的模板匹配系统演进为今天复杂而精巧的深度学习模型。在原理层面，ASR将声音信号转为文本所涉及的每一步都凝聚了大量研究者的智慧；在应用层面，ASR正悄然改变着人机交互的方式，让语音成为与计算机交流的自然手段。展望未来，ASR研究仍在继续：如何让机器听懂更多语言、在嘈杂人群中分辨每个声音、用更少的数据学会新语种，以及更贴近地模仿人类听觉的鲁棒性。这些挑战伴随着机遇——随着大模型和自监督学习的兴起，我们离“机器像人一样听懂语言”已经越来越近。
DLNLP学习笔记06（Speech Recognition: Neural Transducer模型&MoChA模型&总结）
GaLileo_C的博客
07-29 565
1 Neural Transducer：根据一个window size将多个输入进行attention之后，再输入到decoder。实际实验结果，加了attention之后window size大小对模型效果影响不大。 2 MoChA (Monotonic Chunkwise Attention)：动态地移动window。 3 总结： ...
Neural Transducer——李宏毅人类语言学习
久蔡合子
12-26 406
Neural Transducer
MoCha——单调块注意力模型
南瑾与春风的博客
04-16 228
转载MoCha——单调块注意力模型 - 以观其妙的文章 - 知乎 作者：恒毅，语音识别工作者，来自新东方AI研究院语音识别团队 1.首先，提出一个问题？ 加了soft attention的seq2seq模型，在很多领域取得了广泛的应用，例如机器翻译、词性标注等NLP任务，因为它们都可以看成是序列到序列的问题。但是对于语音问题，这个模型存在很明显的弊端： 时间复杂度很高： 因为对于soft attention的模型来说，decoder的每一个输出要计算encoder的每一个隐含状态的对应权重，所以时间复杂
Speech recognition模型：MoChA（Monotonic Chunkwise Attention)
u014765410的博客
10-17 890
与NT相比，MoChA中，window的长度是可变的，每一个step中，window的长度由一个model决定。该模型的工作原理如下：给定zi，以及acoustic feature，将其进model，判断window是否停止生长，如果为否，则继续将zi和下一个acoustic feature输入model，判断window是否生长，如果为否，则停止生长，将之前的所有acoustic featue都框到window中，进行encode，decode。
Speech Recognition vs. Voice Recognition | 语音识别工作原理 | 模型训练 | 应用
u013669912的博客
01-02 1904
……
Speech Recognition Using attention-based sequence-to-sequence methods
weixin_44391984的博客
02-12 397
Abstract—Speech is one of the most important and prominent manner to communicate among human being. It also has capacity to become a kind of medium when facing the human computer interaction. Speech recognition has become a popular area across research ins
语音中的 Transformer一文打尽！
热门推荐
BAAIBeijing的博客
01-29 1万+
写在前面——自 2017 年 Transformer 技术出现以来，便在 NLP、CV、语音、生物、化学等领域引起了诸多进展。知源月旦团队期望通过“Transformer+X” 梳理清 ...
Speech recognition模型：RNN Transducer(RNN-T)
u014765410的博客
10-17 1348
2，在output（token）上方，加了一个RNN，其input为token，当token为null时，则自动将其忽略。1，原始的训练数据为（语音，文本）对，但是，实际的模型训练时，需要的训练数据为paired train data，即（acoustic feature，token)，所以，需要对训练数据进行alignment。1，RNA中，将CTC的classifier改为了一个LSTM，使得模型在分类时，不单考虑了当下time step的h，同时也考虑了前一个time step的token。
语音识别模型CTC,RNN-T,Neural Transducer,MoCha学习笔记
taoqick的专栏
05-04 1218
语音识别模型进化史以下4篇文章结合之前的LAS是深度学习在语音识别邻域的重要尝试 • Connectionist Temporal Classification (CTC)[Graves, et al., ICML’06] • RNN Transducer (RNN-T)[Graves, ICML workshop’12] • Neural Transducer[Jaitly, et al., NIPS’16] • Monotonic Chunkwise Attention (MoChA)[Chiu
一张图总结LAS,CTC,RNA,RNN-T,Neural Transducer, MoCha模型
折腾
05-07 1534
探索高效语音识别：RNN-Transducer 深度学习模型实践
gitblog_00004的博客
06-08 582
探索高效语音识别：RNN-Transducer 深度学习模型实践 去发现同类优质开源项目:https://gitcode.com/ 本文将向您介绍一款出色的开源项目——RNN-Transducer，这是一个基于PyTorch实现的深度学习模型，专门用于实时语音识别任务。该项目充分利用了循环神经网络（RNN）和序列到序列架构的优势，旨在提高语音转文本的准确性和效率。 项目介绍 RNN-Transdu...
【Learning Notes】Sequence Transducer
丁丁的博客
07-28 6456
CTC 独立性假设，各个 frame 的输出概率。 合理性：1。简化了模型；2。虽然独立于输出，但依赖输入。 我们能做的更好吗？ 输出概率依赖于之前的输出，更合理，显然许多问题是成立的（语音识别，识别结果应该符合某种习惯） Fig. 1. The RNN-T model. The model consists of an encoder network, which maps inp...
Neural-Transfer及Pytorch实现
weixin_41693877的博客
06-15 517
什么是Neural-Transfer，并无一个严格的定义，简单来说就是，就是将一张图片的“风格”迁移到另外一张图片的“内容”上，进而重新生成一张新的图片。这样讲比较模糊，但是看一张图就一目了然了。 左上角是建筑物图片，通常称为Conten（内容图片），简记为C。右上角是梵高的星空，通常称为Style（风格图片），简记为S。下图是融合了Content的内容和Style的风格生成的图片，称为Generated。 吴恩达有关于Neural-Transfer的讲解，在B站和网易云都能搜到他的课程，这里就不放出链接
【NLP】自然语言处理学习笔记（一）语音识别
兴趣使然的创作者
06-16 4651
本笔记参考的课程是李宏毅老师的自然语言处理 课程Link：https://aistudio.baidu.com/aistudio/education/lessonvideo/1000466 Token是模型的输出形式，以上图语音识别为例，输出的text包含了N个Token，每个Token有V种符号 目前，Token主要有下面五种具体形式：Phoneme 音标，即语言的发音。 如果想要换算成文本，需要有个Lexicon(词典表)，例如cat ⟶ K AE TGrapheme 字母 最直接的形式，总数为26个字
深度学习领域CTR预估模型全面总结
FNN（Factorization-supported Neural Network）是将传统神经网络与因子分解模型相结合，利用因子分解来处理特征间的低阶相互作用，并通过神经网络来捕获非线性高阶特征相互作用。FNN在处理高维稀疏数据时能够表现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值