Neural Transducer——李宏毅人类语言学习

我是小蔡呀～～～ 我是小蔡呀～～～ 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 500+累计阅读 503平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄7年
关注
原创 最新推荐文章于 2026-11-07 11:36:14 发布 503 阅读 AI 写同款· GEO 优化 ›
【Learning Notes】Sequence Transducer CTC 独立性假设，各个 frame 的输出概率。 合理性：1。简化了模型；2。虽然独立于输出，但依赖输入。 我们能做的更好吗？ 输出概率依赖于之前的输出，更合理，显然许多问题是成立的（语音识别，识别结果应该符合某种习惯） Fig. 1. The RNN-T model. The model consists of an encoder network, which maps inp... 阅读详情

CTC，RNA，RNN-T每次只读一个声学特征进来。
在这里插入图片描述
而Neural Transducer则是每次读多个声学特征进去，然后通过attention来选择读那些特征。
在这里插入图片描述

Neural Transducer的运作方式

累积一定数目的声学特征后， 构成一个window
在这里插入图片描述
接下来开始做decode，产生输出。输出的时候只在window的这个小范围内做attention。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这个window应该开多大呢？

在这里插入图片描述

收录于
李宏毅人类语言处理

当前文章被收录于：

李宏毅人类语言处理
8 篇文章 4 人学习
订阅专栏 查看详情
标签
#学习 #语音识别 #人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
neural-transducer:此仓库包含一组神经传感器，例如序列到序列模型，专注于角色级任务 神经传感器 此仓库包含一组神经转换器，例如序列到序列模型，专注于角色级任务。 它为以下papar和讲习班提供动力。 叶卡捷琳娜·维洛莫娃（Ekaterina Vylomova），珍妮弗·怀特（Jennifer White），伊丽莎白·萨利斯基（Elizabeth Salesky），萨布丽娜·J·米尔克（Sabrina J.Mielke），吴世杰，爱德华多·庞蒂，罗恩·霍尔·莫兹莱，冉·兹米格罗德，约瑟夫·瓦尔沃达，斯维特拉娜·托尔多瓦，弗朗西斯·泰尔斯，埃琳娜·科利奇科，伊利亚·叶戈罗夫，娜塔莉娅·克里斯汉娜诺夫斯基，保拉·克拉扎诺夫斯基，Andrew Krizhanovsky，Tiago Pimentel，Lucas Torroba Hennigen，Christo Kirov，Garrett Nicolai，Adina Williams，Antonios Anastasopoulos 立即下载

相关推荐

ESXi 6.7升级17700523补丁全流程：从下载到验证的保姆级教程

本文提供ESXi 6.7升级17700523补丁的完整流程指南，涵盖从下载、上传到验证的详细步骤。通过SSH命令和vSphere Client操作，确保系统管理员能够安全高效地完成补丁升级，提升虚拟化环境的安全性和稳定性。

linux6sysadmin的博客 839

语音识别之CTC，RNA，RNN-T，Neural Transducer，MoChA模型详解——语音信号处理学习（四）

LAS：就是 seq2seqCTC：decoder 是 linear classifier 的 seq2seqRNA：输入一个东西就要输出一个东西的 seq2seqRNN-T：输入一个东西可以输出多个东西的 seq2seqNeural Transducer：每次输入一个 window 的 RNN-TMoCha：window 移动伸缩自如的 Neural Transducer。

m0_56942491的博客 2864

计算机视觉（相机标定；内参；外参；畸变系数）

目录 一、预备知识 1、坐标系变换过程（相机成像过程） （1）相机坐标系转换为图像坐标系（透视投影变换遵循的是针孔成像原理） （2）齐次坐标的引入原因：（为什么引入齐次坐标？？？） 2、内参与外参矩阵的构成 3、畸变参数 二、相机标定 1、张正友标定法（光学标定）及其求解思路 2、求解内参矩阵与外参矩阵的思路： （1）计算内参与外参矩阵的乘积M （2）求解内参矩阵A （3）求解外参矩阵(R1 R2 T) 三、参数优化 1、L-M算法 2、相机标定步骤 四、相关代码及其实验结.

QYJ_WORKHARDING的博客 6万+

Neural Transducer, MoCha模型总结

Neural Transducer, MoCha笔记 首先，先来看看什么是Neural Transducer。 如上图所示，我们可以发现Neural Transducer其实就是在输出时加了一个attention。 我们可以把n个h来作为一个window，然后利用attention来进行输出处理。 根据上图也会对实际window的大小选择起到指导作用。 接下来，我们来看看什么是MoCha： ...

折腾 1698

VS Code配置Java开发环境避坑指南：从JDK到Spring Boot插件全流程

本文详细介绍了在VS Code中配置Java开发环境的完整流程，涵盖JDK选择、环境变量配置、核心插件安装、构建工具优化及Spring Boot项目专项设置。特别针对常见问题提供避坑方案，帮助开发者快速搭建高效稳定的开发环境，提升Java和Spring Boot开发效率。

weixin_28839699的博客 979

波分复用技术原理

波分复用原理 把不同波长的光信号复用到同一根光纤中进行传送，这种方式我们把它叫做波分复用（ Wavelength Division Multiplexing ） 一根光纤被划分为多个波道，多个波长以一定的间隔隔开，在光纤中独立传输。 波分复用应用演示 如果将WDM系统看作交通系统，光纤可以看作是多个车道的公用道路。 各种类型的业务就像货物一样，被打包装载到车辆中。 车辆按照分配的车道行驶至目的地，完成货物的运输。 想要提高波分复用系统的传输容量，就要增加波道数量或是提升单波传...

m0_63251770的博客 9997

【NLP】自然语言处理学习笔记（一）语音识别

本笔记参考的课程是李宏毅老师的自然语言处理 课程Link：https://aistudio.baidu.com/aistudio/education/lessonvideo/1000466 Token是模型的输出形式，以上图语音识别为例，输出的text包含了N个Token，每个Token有V种符号 目前，Token主要有下面五种具体形式：Phoneme 音标，即语言的发音。 如果想要换算成文本，需要有个Lexicon(词典表)，例如cat ⟶ K AE TGrapheme 字母 最直接的形式，总数为26个字

兴趣使然的创作者 5095

Android PMS——概述（一）

PMS（Package Manager Service）是 Android 操作系统的一个重要组件，它负责管理应用程序的包信息以及与应用程序的安装、卸载、权限控制等相关功能，确保应用程序的安全性和稳定性。 Android PMS 负责维护一个应用程序包的清单信息，该清单是一个 XML 文件，包含应用程序的各种元数据，例如应用程序的包名、版本号、权限要求、组件信息等。PMS通过访问该清单文件来获取应用程序的信息。 此外，Android PMS 还负责应用程序的安装和卸载。在安装应用

小旭的专栏 1667

Chapter1-3_Speech_Recognition(CTC, RNN-T and more)

文章目录1 CTC2 RNN-T 本文为李弘毅老师【Speech Recognition - CTC, RNN-T and more】的课程笔记，课程视频youtube地址，点这里????(需翻墙)。 下文中用到的图片均来自于李宏毅老师的PPT，若有侵权，必定删除。 1 CTC CTC源于论文Connectionist Temporal Classification: Labelling Unsegme...

zjuPeco的博客 1892

【GRASS GIS零基础入门教程】2.1：初识GRASS GIS软件

GRASS GIS是一个强大的计算引擎，用于栅格、矢量和地理空间处理。它支持地形和生态系统建模、水文、数据管理和图像处理。通过内置的时态框架和Python API，它可以进行高级时间序列分析和快速地理空间编程，并针对各种硬件配置的大规模分析进行优化。

智慧空间实验室 847

SMPLify-x-master | 复现记录

由于毕业设计中将会用到smpl模型，而smplify方法的各环境依赖版本比较老，复现不太容易，因此便进行了smplifyx方法使用smplx的方法。由于在过程中遇到较多坑，因此进行记录和分享。

qq_44916003的博客 5100

Speech recognition模型：MoChA（Monotonic Chunkwise Attention)

与NT相比，MoChA中，window的长度是可变的，每一个step中，window的长度由一个model决定。该模型的工作原理如下：给定zi，以及acoustic feature，将其进model，判断window是否停止生长，如果为否，则继续将zi和下一个acoustic feature输入model，判断window是否生长，如果为否，则停止生长，将之前的所有acoustic featue都框到window中，进行encode，decode。

u014765410的博客 1099

VS2019项目使用CGAL6.1配置教程详细步骤

在VS2019项目中使用CGAL详细步骤

插件开发 331

RNN Transducer(RNN-T)——李宏毅人类语言处理学习笔记

RNN-A RNN-T

久蔡合子 3547

android 蓝牙通讯demo

android 下蓝牙通讯demo，实现了发现蓝牙，使能蓝牙，通过蓝牙发送消息。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox（带书签），MATLAB统计学习工具

课程笔记：深度学习与人类语言处理 ——李宏毅，2020 (P5)

原创 · 作者 | 阿芒Aris学校 | 北京理工大学研究方向 | 自然语言处理来自 | AINLP语音辨识模型2、3、4、5：CTC 、RNN-T（&RNA）、Neural T...

zenRRan的博客 654

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等，可在创建的窗口进行控制

李宏毅《DLHLP》学习笔记4 - CTC, RNA, RNN-T, Neural Transducer, MoChA

最近在学习语音识别的知识，发现李宏毅老师今年也出了相应的视频，相应的课件可以从下面的位置获取：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html Youtube视频： https://youtu.be/AIKu43goh-8 https://youtu.be/BdUeBa6NbXA https://youtu.be/CGuLuBaLIe...

好记性不如烂笔头 1558

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。，新界面，新视觉，

李宏毅NLP-5-RNNT&Neural Transducer&MoChA

说明：就是普通的 seq2seq 模型。通过编码器（Encoder）处理输入序列h1−h4h^1 - h^4h1−h4等隐藏状态），解码器利用注意力机制（attention）生成输出c0−c4c^0- c^4c0−c4等）。说明：解码器是线性分类器的 seq2seq 模型。通过引入空白符ϕ\phiϕ解决输入输出不对齐问题，每个时间步独立输出 token，后处理合并重复 token 并去除ϕ\phiϕ。说明：输入一个元素就要输出一个元素的 seq2seq 模型。

uncle_ll的博客 1053

语音识别模型CTC,RNN-T,Neural Transducer,MoCha学习笔记

语音识别模型进化史以下4篇文章结合之前的LAS是深度学习在语音识别邻域的重要尝试 • Connectionist Temporal Classification (CTC)[Graves, et al., ICML’06] • RNN Transducer (RNN-T)[Graves, ICML workshop’12] • Neural Transducer[Jaitly, et al., NIPS’16] • Monotonic Chunkwise Attention (MoChA)[Chiu

taoqick的专栏 1424

DLNLP学习笔记06（Speech Recognition: Neural Transducer模型&MoChA模型&总结）

1 Neural Transducer：根据一个window size将多个输入进行attention之后，再输入到decoder。实际实验结果，加了attention之后window size大小对模型效果影响不大。 2 MoChA (Monotonic Chunkwise Attention)：动态地移动window。 3 总结： ...

GaLileo_C的博客 713

【深度学习人类语言处理】1 课程介绍、语音辨识1——人类语言处理六种模型、Token、五种Seq2Seq Model(LAS、CTC、RNN-T、Neural Transducer、MoChA)

Deep Learning for Human Ianguage Processing1. DLHLP-Introduction1.1 概述1.2 六种模型与应用1.2.1 语音到文本1.2.2 文本到语音1.2.3 语音到语音1.2.4 语音到Class1.2.5 文本到文本1.2.6 文本到Class1.3 更多应用2. 语音辨识2.1 语音辨识的Token2.2 声学特征提取2.3 Listen, Attend, and Spell (LAS)2.3.1 Encoder2.3.2 Attention2

YoungSeng's Blog 2315

一张图总结LAS,CTC,RNA,RNN-T,Neural Transducer, MoCha模型

折腾 1641

CTC,RNN-Transducer, LAS

CTC RNN-Transducer 网络结构 LAS

一花一世界 一叶一菩提 5507

HMM, CTC和RNN-Transducer对齐方式的差异

转载自：https://www.jianshu.com/p/fad774f76be2 来自台湾大学李宏毅的课程，对这几个模型的对齐方式做了比较详细的说明。

为实现四个现代化奋斗 1404

李宏毅2020人类语言处理—P4

Model 1 Connectionist Temporal Classification，CTC [Graves,et al.ICML,2016] 解决on-line语音辨识（不需要听完整句话再作辨识），只有一个encoder模块，且不能使用双向RNN。 问题： 每个acoustic input只代表10ms的语音，不是每个input都包含一个独特的token信息。 所以模型要知道什么时候output空白信息（NULL），即这段语音听不到有用信息。 如何处理空白信息和相同的语音 预测size=V+1

ronghwa_lu 326

2026.11.7 AI学习总结

110 你 14b 模型权重本身就要约 8.8GB，默认上下文（Ollama 在 16GB 卡上可能给到 4K）加上 KV Cache 就爆了。比如设成 2048，你输入了 500 个 token 的问题，那模型最多还能生成 1500 个 token 的回答。超出部分会被截断，模型就"看不见"了。4 如果 14b 跑起来后发现它"忘事"，再逐步往上加，比如先试 4096。，根据注意力头的重要性动态分配缓存资源，重要的留显存，不重要的下沉。，单位是 token，表示模型这一次推理最多能同时"看到"多少内容。

qq_41181702的博客 374

Flink 学习日志 03：自定义一个SourceFunction，完成对Redis中数据的读取

本文介绍了在Flink中自定义SourceFunction读取Redis数据的完整流程：通过Jedis客户端连接WSL2中的Redis服务，编写RedisSource实现循环读取所有Key-value并逐条输出，结合Thread.sleep()实现每秒一条的流式效果。关键步骤包括环境准备、添加Jedis依赖、配置IDEA运行时加载provided依赖，并注意生产环境中应避免使用阻塞的keys *，改用scan命令。最终实现动态读取、实时打印，验证了Flink与Redis的数据集成能力。

木木的学习笔记 421
上一篇： RNN Transducer(RNN-T)——李宏毅人类语言处理学习笔记
下一篇： Monotonic Chunkwise Attention(MoChA)——李宏毅人类语言处理
点赞 0
评论 0
书签 书签 2
我是小蔡呀～～～
我是小蔡呀～～～
博客等级 码龄7年 430粉丝 44原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我是小蔡呀～～～

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值