Neural Transducer——李宏毅人类语言学习

最新推荐文章于 2023-10-24 15:05:07 发布
原创 最新推荐文章于 2023-10-24 15:05:07 发布 · 464 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #语音识别 #人工智能

本文探讨了NeuralTransducer的工作机制，与CTC及RNN-T不同的是，NeuralTransducer采用累积声学特征的方式形成窗口，并在该窗口内进行attention机制的选择，从而实现解码并产生输出。

CTC，RNA，RNN-T每次只读一个声学特征进来。
在这里插入图片描述
而Neural Transducer则是每次读多个声学特征进去，然后通过attention来选择读那些特征。
在这里插入图片描述

Neural Transducer的运作方式

累积一定数目的声学特征后， 构成一个window
在这里插入图片描述
接下来开始做decode，产生输出。输出的时候只在window的这个小范围内做attention。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这个window应该开多大呢？

在这里插入图片描述

neural-transducer:此仓库包含一组神经传感器，例如序列到序列模型，专注于角色级任务
05-08
神经传感器 此仓库包含一组神经转换器，例如序列到序列模型，专注于角色级任务。 它为以下papar和讲习班提供动力。 叶卡捷琳娜·维洛莫娃（Ekaterina Vylomova），珍妮弗·怀特（Jennifer White），伊丽莎白·萨利斯基（Elizabeth Salesky），萨布丽娜·J·米尔克（Sabrina J.Mielke），吴世杰，爱德华多·庞蒂，罗恩·霍尔·莫兹莱，冉·兹米格罗德，约瑟夫·瓦尔沃达，斯维特拉娜·托尔多瓦，弗朗西斯·泰尔斯，埃琳娜·科利奇科，伊利亚·叶戈罗夫，娜塔莉娅·克里斯汉娜诺夫斯基，保拉·克拉扎诺夫斯基，Andrew Krizhanovsky，Tiago Pimentel，Lucas Torroba Hennigen，Christo Kirov，Garrett Nicolai，Adina Williams，Antonios Anastasopoulos
【李宏毅深度学习CP12】Transformer（part1）
发现问题，并解决问题，批判性思维
08-14 1828
学习总结 （1） （2） 文章目录学习总结一、Seq2seq0.举栗子1）语音识别2）机器翻译3）语音翻译1.硬train一发（闽南语、台语）2.Seq2seq for Chatbot聊天机器人3.Question Answering (QA)4.Seq2seq for Syntactic Parsing5.multi-label classification6.Seq2seq for Object Detection二、Encoder-Decoder1.Encoder三、小测四、更多参考四、Referen
Neural Transducer, MoCha模型总结
折腾
05-07 1650
Neural Transducer, MoCha笔记 首先，先来看看什么是Neural Transducer。 如上图所示，我们可以发现Neural Transducer其实就是在输出时加了一个attention。 我们可以把n个h来作为一个window，然后利用attention来进行输出处理。 根据上图也会对实际window的大小选择起到指导作用。 接下来，我们来看看什么是MoCha： ...
DLNLP学习笔记06（Speech Recognition: Neural Transducer模型&MoChA模型&总结）
GaLileo_C的博客
07-29 614
1 Neural Transducer：根据一个window size将多个输入进行attention之后，再输入到decoder。实际实验结果，加了attention之后window size大小对模型效果影响不大。 2 MoChA (Monotonic Chunkwise Attention)：动态地移动window。 3 总结： ...
语音识别之CTC，RNA，RNN-T，Neural Transducer，MoChA模型详解——语音信号处理学习（四）
m0_56942491的博客
10-24 2452
LAS：就是 seq2seqCTC：decoder 是 linear classifier 的 seq2seqRNA：输入一个东西就要输出一个东西的 seq2seqRNN-T：输入一个东西可以输出多个东西的 seq2seqNeural Transducer：每次输入一个 window 的 RNN-TMoCha：window 移动伸缩自如的 Neural Transducer。
李宏毅2020人类语言处理—P4
ronghwa_lu
11-22 307
Model 1 Connectionist Temporal Classification，CTC [Graves,et al.ICML,2016] 解决on-line语音辨识（不需要听完整句话再作辨识），只有一个encoder模块，且不能使用双向RNN。 问题： 每个acoustic input只代表10ms的语音，不是每个input都包含一个独特的token信息。 所以模型要知道什么时候output空白信息（NULL），即这段语音听不到有用信息。 如何处理空白信息和相同的语音 预测size=V+1
李宏毅《DLHLP》学习笔记4 - CTC, RNA, RNN-T, Neural Transducer, MoChA
好记性不如烂笔头
03-13 1467
最近在学习语音识别的知识，发现李宏毅老师今年也出了相应的视频，相应的课件可以从下面的位置获取：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html Youtube视频： https://youtu.be/AIKu43goh-8 https://youtu.be/BdUeBa6NbXA https://youtu.be/CGuLuBaLIe...
【论文随笔5】Context-Aware Transformer Transducer for Speech Recognition
The Dawn
11-17 833
原文链接：【论文随笔5】Context-Aware Transformer Transducer for Speech Recognition - 知乎（封面来自Gent灯光节的Museum of the Moon，灯光节简介 Lichtfestival | Home）背景为了提高端到端的语音识别模型对于不常见单词识别的准确率，此文提出了一种上下文语境感知网络，可基于上下文信息提高语音识别…https://zhuanlan.zhihu.com/p/432320463 背景 为了提高端到端的语音识别模型对
Transformer（李宏毅2022）
linyuxi_loretta的博客
10-18 2718
（作业五）变形金刚的英文就是Transformer,那Transformer也跟我们之后会,提到的BERT有非常强烈的关係,
【笔记】DLHLP - 李宏毅 - 4 - 语音识别 - Part 3 CTC, RNN-T and more
YanqiangWang的专栏
07-08 512
Connectionist Temporal Classification (CTC) CTC可以用于线上实时地语音识别，编码器用的是单向的RNN，解码是用MLP来预测文字分布。 编码器将语音输入\(x^i\)编码成\(h^i\)，MLP再对它乘上一个权重，接上Softmax，得到词表V大小的概率分布。 但有时候当前的语音输入可能并不能对应实际的文本token，所以预测要额外多一个为空的...
【NLP】自然语言处理学习笔记（一）语音识别
兴趣使然的创作者
06-16 4845
本笔记参考的课程是李宏毅老师的自然语言处理 课程Link：https://aistudio.baidu.com/aistudio/education/lessonvideo/1000466 Token是模型的输出形式，以上图语音识别为例，输出的text包含了N个Token，每个Token有V种符号 目前，Token主要有下面五种具体形式：Phoneme 音标，即语言的发音。 如果想要换算成文本，需要有个Lexicon(词典表)，例如cat ⟶ K AE TGrapheme 字母 最直接的形式，总数为26个字
Speech recognition模型：MoChA（Monotonic Chunkwise Attention)
u014765410的博客
10-17 1003
与NT相比，MoChA中，window的长度是可变的，每一个step中，window的长度由一个model决定。该模型的工作原理如下：给定zi，以及acoustic feature，将其进model，判断window是否停止生长，如果为否，则继续将zi和下一个acoustic feature输入model，判断window是否生长，如果为否，则停止生长，将之前的所有acoustic featue都框到window中，进行encode，decode。
语音识别模型CTC,RNN-T,Neural Transducer,MoCha学习笔记
taoqick的专栏
05-04 1299
语音识别模型进化史以下4篇文章结合之前的LAS是深度学习在语音识别邻域的重要尝试 • Connectionist Temporal Classification (CTC)[Graves, et al., ICML’06] • RNN Transducer (RNN-T)[Graves, ICML workshop’12] • Neural Transducer[Jaitly, et al., NIPS’16] • Monotonic Chunkwise Attention (MoChA)[Chiu
【深度学习人类语言处理】1 课程介绍、语音辨识1——人类语言处理六种模型、Token、五种Seq2Seq Model(LAS、CTC、RNN-T、Neural Transducer、MoChA)
YoungSeng's Blog
04-06 2164
Deep Learning for Human Ianguage Processing1. DLHLP-Introduction1.1 概述1.2 六种模型与应用1.2.1 语音到文本1.2.2 文本到语音1.2.3 语音到语音1.2.4 语音到Class1.2.5 文本到文本1.2.6 文本到Class1.3 更多应用2. 语音辨识2.1 语音辨识的Token2.2 声学特征提取2.3 Listen, Attend, and Spell (LAS)2.3.1 Encoder2.3.2 Attention2
一张图总结LAS,CTC,RNA,RNN-T,Neural Transducer, MoCha模型
折腾
05-07 1595
【Learning Notes】Sequence Transducer
丁丁的博客
07-28 6630
CTC 独立性假设，各个 frame 的输出概率。 合理性：1。简化了模型；2。虽然独立于输出，但依赖输入。 我们能做的更好吗？ 输出概率依赖于之前的输出，更合理，显然许多问题是成立的（语音识别，识别结果应该符合某种习惯） Fig. 1. The RNN-T model. The model consists of an encoder network, which maps inp...
CTC,RNN-Transducer, LAS
一花一世界 一叶一菩提
04-28 5420
CTC RNN-Transducer 网络结构 LAS
RNN Transducer(RNN-T)——李宏毅人类语言处理学习笔记
久蔡合子
12-26 3333
RNN-A RNN-T
HMM, CTC和RNN-Transducer对齐方式的差异
为实现四个现代化奋斗
02-03 1333
转载自：https://www.jianshu.com/p/fad774f76be2 来自台湾大学李宏毅的课程，对这几个模型的对齐方式做了比较详细的说明。
"深度学习教程：基础技术、新潮流、谷歌趋势——李宏毅解读
Lecture II focuses on practical tips for training deep neural networks, a critical aspect of achieving successful results in deep learning projects. The audience learns about best practices for model ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我是小蔡呀～～～

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值