Monotonic Chunkwise Attention(MoChA)——李宏毅人类语言处理

最新推荐文章于 2025-03-05 19:40:05 发布
原创 最新推荐文章于 2025-03-05 19:40:05 发布 · 596 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #nlp

本文介绍了一种改进的Attention机制——动态Window Attention。该方法通过引入一个判断机制来决定是否将注意力窗口放置在当前位置，若不合适则向右移动。在选定的窗口内进行Attention操作，并输出一个token。

其是想在attention上做一些改变，我们可以把他想成是动态的移动我们的window。
here?：吃两个输入，z0和h，输出Yes/No，选择是否将window放在这里，如果No的话往右移动。
在这里插入图片描述
在这里插入图片描述
在此window内做attention，一个window输出一个token，不输出null

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

【自然语言处理】Attention 讲解
LJR的博客
02-07 683
注意力 attention Mechanism 编码 解码 Encoder Decoder Seq2Seq Bahdanau Luong 全局注意力 局部注意力 input-feeding Query Key Value Softmax 中间语义向量 概率分布 权重 隐藏状态 对齐 alignment Transformer Effective approaches to attention-based neural machine translation
李宏毅机器学习：self-attention（自注意力机制）和transformer及其变形
iwill323的博客
10-20 6491
self-attention，transformer及变形
MoCha——单调块注意力模型
hengyi_chang的博客
06-19 1507
MoCha——单调块注意力模型 1.概述 加了soft attention的seq2seq模型，在很多领域取得了广泛的应用，例如机器翻译、词性标注等NLP任务，因为它们都可以看成是序列到序列的问题。但是对于语音问题，这个模型存在很明显的弊端： 时间复杂度很高： 因为对于soft attention的模型来说，decoder的每一个输出要计算encoder的每一个隐含状态的对应权重，所以时间复杂度为O(UT)，其中U代表输出序列的长度，T代表输入序列的长度。对于语音任务来说，10ms的帧移就意味着1s的音频
interspeech2020论文阅读
qq_39354864的博客
11-25 1341
interspeech2020论文阅读 Streaming ASR 1.Scout Network (1)SN 文中用SN检测word boundary(严格来说是label boundary)，模型采用N个self-attention层(最前面有CNN层做下采样)，因为第i帧特征对应的输出仅依赖于前面的输出(如何实现的，通过mask？？)，所以SN没有latency。SN输出层用一个linear层接sigmoid预测概率 p_i ,通过最小化CE-Loss训练SN： (2)Recognition Ne
ASR入门笔记
weixin_42264992的博客
06-17 1288
ASR入门笔记
Speech recognition模型：MoChA（Monotonic Chunkwise Attention)
u014765410的博客
10-17 998
与NT相比，MoChA中，window的长度是可变的，每一个step中，window的长度由一个model决定。该模型的工作原理如下：给定zi，以及acoustic feature，将其进model，判断window是否停止生长，如果为否，则继续将zi和下一个acoustic feature输入model，判断window是否生长，如果为否，则停止生长，将之前的所有acoustic featue都框到window中，进行encode，decode。
李宏毅语音信号处理课程笔记：从Transformer到SpeechRecognition
NeuralTransducer是另一个序列到序列模型，而MoChA（Monotonic Chunkwise Attention）则在保持效率的同时，解决了在线语音识别的挑战。 总体而言，这份课程资料全面覆盖了语音信号处理的关键技术和理论，对于希望...
monotonic:适用于Python 2和Python 3的time.monotonic（）的实现
05-16
此模块提供了monotonic()函数，该函数返回永不向后退的时钟值（以秒为单位）。 它与Python 2和Python 3兼容。 在Python 3.3或更高版本上， monotonic将是标准库中的别名。 在较旧的版本上，它将回退到等效的实现：...
语音合成（TTS)论文优选：Robust Sequence-to-Sequence Acoustic Modeling with Stepwise Monotonic Attention for Ne
低调奋进
12-16 548
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 Robust Sequence-to-Sequence Acoustic Modeling with Stepwise Monotonic Attention for Neural TTS 本篇文章是北京航空航天大学计算机科学与工程学院和中国微软在2019年发表的文章，主要提出了stepwise monotonic attentio
深度学习系列(二)【人类语言处理--语音辨识】
小小何先生的学习之旅
05-18 2189
  在语音辨识中输入是语音信号，输出是对应的文字。语音表示为一个序列向量(长度为T\text{T}T，维度为 d\text{d}d)。输出的Text一般表示为一个Token序列，长度为N\text{N}N，V\text{V}V个不同的token所构成，通常 T>N\text{T} > \text{N}T>N。   在实际运用的过程中，有时候也会从声音信号直接得到word embe...
语音辨识的模型
博学 笃志 切问 近思
08-11 1566
LAS模型介绍
【深度学习系列（六）】：RNN系列（4）：带注意力机制的seq2seq模型及其实战(1)
wxplol的博客
02-22 4827
参考链接： Seq2Seq模型讲解 完全图解Seq2Seq Attention模型 完全解析RNN, Seq2Seq, Attention注意力机制
图深度学习入门教程（六）——注意力机制与图注意力
weixin_43672348的博客
04-20 9771
深度学习还没学完，怎么图深度学习又来了？别怕，这里有份系统教程，可以将0基础的你直接送到图深度学习。还会定期更新哦。
【注意力机制大系】通俗易懂的讲解各注意力的作用
H'Senseiの工坊
03-05 1499
本文为学习总结用，可能不涉及具体的注意力机制实现。很多时候我们理解一个事物应该从它的具体作用出发，再去深入它的具体实现。比如，当你学自行车的时候，你不可能是先去理解自行车的构造原理，再上车骑行。往往我们学习自行车的骑行都是从应用开始，这也是这篇文章的初衷发，先了解它干嘛用，再理解它的实现。部分图片从网络上进行转载,侵删。
LAS、CTC、RNN-T、NT、MoChA
weixin_45259560的博客
12-02 1507
DLHLP学习笔记
课程向：深度学习与人类语言处理 ——李宏毅，2020 (P5)
阿芒Aris的博客
08-17 2040
语音辨识模型：CTC 、RNN-T（&RNA）、Neural Transducer、MoChA
语音合成论文优选：Enhancing Monotonicity for Robust Autoregressive Transformer TTS
低调奋进
01-29 432
声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 Enhancing Monotonicity for Robust Autoregressive Transformer TTS 本文是清华大学在interspeech 2020上发表优化transformerTTS，使其更加鲁棒，具体的文章链接 https://www.isca-speech.org/archive/Interspe.
语音识别模型CTC,RNN-T,Neural Transducer,MoCha学习笔记
taoqick的专栏
05-04 1299
语音识别模型进化史以下4篇文章结合之前的LAS是深度学习在语音识别邻域的重要尝试 • Connectionist Temporal Classification (CTC)[Graves, et al., ICML’06] • RNN Transducer (RNN-T)[Graves, ICML workshop’12] • Neural Transducer[Jaitly, et al., NIPS’16] • Monotonic Chunkwise Attention (MoChA)[Chiu
Monotonic Time
最新发布
08-22
<think>我们正在讨论Monotonic Time（单调时间）的概念及其在操作系统中的实现原理。根据用户的问题，需要明确Monotonic Time的定义，并解释其实现原理。同时，用户提供了一些引用，但其中部分引用可能不直接相关（如引用[1]描述的是时间原点，引用[2]是关于过时的函数，引用[3][4]是定时器设置和更新，引用[5]是人工智能历史），我们需要聚焦于单调时间的核心内容。 ### Monotonic Time 的定义 Monotonic Time（单调时间）是指一个**单向递增**的时间计数器，它不受系统时间调整（如NTP同步、手动修改系统时间）的影响。其关键特性包括： 1. **单调性**：时间值只增不减，确保时间差值的计算总是非负。 2. **连续性**：理想情况下，时间值应连续递增，但实际可能受硬件限制而离散递增。 3. **系统范围**：通常在整个系统范围内有效（不同进程看到的单调时间是一致的）。 4. **与挂钟时间无关**：单调时间通常不表示真实时间（如年月日），而是从某个未指定的起点开始计数（可能是系统启动时刻）。 在Linux中，单调时间通常以纳秒为单位，通过`CLOCK_MONOTONIC`时钟ID表示（用户空间通过`clock_gettime()`获取）。其起点（epoch）通常是系统启动时刻，但具体起点未公开（以避免依赖）。 ### 实现原理 操作系统中单调时间的实现依赖于硬件和软件协同工作，主要分为以下层次： #### 1. 硬件层：时钟源（Clocksource） 操作系统通过硬件时钟源获取原始时间计数。常见的时钟源包括： - **TSC（Time Stamp Counter）**：现代x86 CPU内置的64位寄存器，以CPU主频递增计数。具有纳秒级精度和极低访问开销（通过`rdtsc`指令读取）。内核通过`constant_tsc`和`nonstop_tsc`标志验证其在多核间的一致性和稳定性[^1]。 - **HPET（High Precision Event Timer）**：独立于CPU的硬件定时器，提供全局统一的计时，精度约100纳秒。 - **ACPI PM Timer**：旧系统使用，精度较低（约300纳秒）。 内核启动时通过`clocksource_select()`自动选择最佳时钟源（优先TSC）[^1]。时钟源需满足： - **稳定性**：频率稳定（不受CPU频率调整影响）。 - **一致性**：多核CPU间计数同步（TSC需满足`constant_tsc`特性）。 #### 2. 内核抽象层：时间维护（Timekeeping） Linux内核通过`struct timekeeper`全局维护单调时间： ```c struct timekeeper { struct clocksource *clock; // 当前时钟源 u64 cycle_interval; // 每个滴答的时钟周期数 u64 nsec_scale; // 周期数到纳秒的转换因子 u64 xtime_nsec; // 当前单调时间（纳秒） ... }; ``` **更新机制**： - 时钟中断（如`tick_handle_periodic()`）或高精度定时器（hrtimer）触发时间更新。 - 每次中断时，读取时钟源的当前周期值，计算自上次更新以来的增量周期数$\Delta C$。 - 将$\Delta C$转换为纳秒：$\Delta T = \Delta C \times \text{nsec\_scale}$。 - 累加到`xtime_nsec`：`xtime_nsec += \Delta T`。 #### 3. 高精度与低开销：动态滴答（Tickless）和 hrtimer - **动态滴答（Tickless Kernel）**： 当CPU空闲时，内核暂停周期性的时钟中断（tick），通过设置下一个到期事件（如hrtimer）唤醒CPU。这减少了功耗，同时确保单调时间在唤醒后通过计算空闲期间的增量时间正确更新[^4]。 - **高精度定时器（hrtimer）**： 提供微秒级精度的定时器，用于替代传统低精度定时器。其核心机制： - 使用红黑树管理定时器，按到期时间排序。 - 当设置新定时器时，仅对最早到期的定时器调用`timerfd_settime()`（系统调用），避免频繁系统调用[^3]。 #### 4. 用户空间接口 用户程序通过系统调用获取单调时间： - `clock_gettime(CLOCK_MONOTONIC, &ts)`：获取秒和纳秒格式的单调时间。 - `clock_gettime(CLOCK_MONOTONIC_RAW)`：获取未经NTP调整的原始单调时间（避免NTP微调引入的非单调性）。 ### 关键保障机制 - **单调性保证**： 时间更新仅做加法操作（`xtime_nsec += delta`）。若检测到时钟源回退（如CPU降频导致TSC计数减少），则丢弃异常值并重新校准。 - **多核同步**： 通过`clocksource_mask`标记跨核一致的时钟源（如TSC），并配合读写锁（`timekeeper.lock`）保护全局时间状态。 - **与挂钟时间隔离**： 系统时间同步（如NTP/PTP）仅修改`CLOCK_REALTIME`，不影响`CLOCK_MONOTONIC`[^1]。 ### 工作流程示例 ```mermaid graph TD A[硬件时钟源 TSC/HPET] -->|读取周期计数| B(计算增量周期 ΔC) B -->|乘以缩放因子| C[转换为纳秒 ΔT] C --> D[累加到 xtime_nsec] D -->|用户空间查询| E[clock_gettime CLOCK_MONOTONIC] F[hrtimer 到期] -->|触发中断| G[更新时间] G --> D ``` ### 总结 Monotonic Time 的实现核心是： 1. **硬件时钟源**提供原始计数。 2. **内核时间子系统**将计数转换为纳秒并维护单调递增。 3. **动态滴答和hrtimer**确保高精度与低开销。 4. **隔离机制**避免系统时间调整影响单调性。 此机制是实时系统、性能分析和分布式协调的基础。 --- §§相关问题§§ 1. TSC 时钟源在多核 CPU 上如何保证计数一致性？ 2. 动态滴答（Tickless）模式如何影响系统响应延迟？ 3. 用户空间程序如何利用 `CLOCK_MONOTONIC` 实现高精度计时？ 4. 时钟源漂移（Clock Drift）时内核如何进行补偿？ [^1]: 硬件时钟源选择与校准机制 [^3]: 高精度定时器初始化与启动流程 [^4]: hrtimer 到期时间管理与红黑树操作</think>### Monotonic Time 的定义与实现原理 #### 一、Monotonic Time 核心定义 1. **基本概念** Monotonic Time（单调时间）是**严格单向递增**的时间计数器，其核心特性包括： - **单调性**：时间值只增不减（$T_{n+1} \geq T_n$），不受系统时间调整影响 - **连续性**：理想情况下连续递增（实际实现可能为离散递增） - **系统范围**：整个操作系统范围内有效 - **与挂钟时间无关**：不表示真实时间（如年月日），仅表示时间流逝量 2. **关键特性对比** | 时间类型 | 是否单调 | 是否受NTP影响 | 典型用途 | |-------------------|----------|---------------|------------------------| | `CLOCK_REALTIME` | ❌ | ✅ | 文件时间戳、日志记录 | | `CLOCK_MONOTONIC` | ✅ | ❌ | 性能分析、超时控制 | | `CLOCK_BOOTTIME` | ✅ | ❌ | 包含系统休眠的时间统计 | 3. **时间原点（Epoch）** Linux 单调时间以**系统启动时刻**为原点（$T_0$），而非真实时间（如1970-01-01 UTC）[^1]。用户空间获取的是从 $T_0$ 开始的纳秒计数： ```c struct timespec ts; clock_gettime(CLOCK_MONOTONIC, &ts); // ts.tv_sec 秒级计数 // ts.tv_nsec 纳秒级计数 ``` #### 二、实现原理分层解析 ##### 1. 硬件层：时钟源抽象 内核通过 `clocksource` 框架抽象硬件计时器： ```c struct clocksource { u64 (*read)(void); // 读取硬件计数函数指针 u64 mask; // 计数器位宽掩码 u32 mult; // 周期转纳秒的乘数 u32 shift; // 位移优化计算 const char *name; // 时钟源名称（如"tsc"） }; ``` - **典型时钟源**： - **TSC**（Time Stamp Counter）：CPU内置寄存器，`rdtsc` 指令读取 - **HPET**：高精度事件定时器（精度 ~100ns） - **KVM clock**：虚拟化环境专用时钟 时钟源选择策略： ```mermaid graph LR A[检测硬件] --> B{TSC可用?} B -->|是| C[验证constant_tsc/nonstop_tsc] C -->|通过| D[选择TSC为默认时钟源] B -->|否| E[选择HPET或ACPI PM] ``` ##### 2. 内核层：时间维护机制 **核心数据结构**： ```c struct timekeeper { struct clocksource *clock; // 当前时钟源 u64 cycle_interval; // 每个tick的周期数 u64 xtime_nsec; // 当前单调时间（纳秒） u32 mult; // 周期转纳秒系数 ... }; ``` **时间更新流程**： 1. 时钟中断触发 `tick_handle_periodic()` 2. 调用 `update_wall_time()` 3. 计算增量时间： $$ \Delta T = \frac{(C_{\text{current}} - C_{\text{last}}) \times \text{mult}}{2^{\text{shift}}} $$ 4. 更新单调时间：`xtime_nsec += \Delta T`[^4] ##### 3. 高精度实现：hrtimer与动态滴答 - **hrtimer 机制**： - 使用红黑树管理定时器 - 仅对**最早到期**的定时器设置硬件中断[^3] ```c // 示例：设置单调时间定时器 hrtimer_init(&timer, CLOCK_MONOTONIC, HRTIMER_MODE_ABS); hrtimer_start(&timer, expires, HRTIMER_MODE_ABS); ``` - **动态滴答（Tickless）**： ```mermaid graph TB A[CPU空闲] --> B[取消周期tick中断] B --> C[计算下一个定时器到期时间] C --> D[设置硬件定时器唤醒] D --> E[唤醒后补偿空闲时间 ΔT] E --> F[更新xtime_nsec += ΔT] ``` #### 三、关键保障机制 1. **单调性保证**： - 禁用减法操作：时间更新仅允许加法 - 时钟源异常处理： ```c if (current_cycles < last_cycles) { // 检测回退 discard_cycles(); // 丢弃异常值 recalibrate(); // 重新校准 } ``` 2. **多核一致性**： - 通过 `clocksource_mask` 标记跨核一致的时钟源 - 读写锁保护全局状态：`seqlock_t timekeeper_lock` 3. **精度保障**： - TSC频率校准：`calibrate_tsc()` - 动态调整mult/shift：适应CPU频率变化 #### 四、用户空间应用 高精度计时示例： ```c #include <time.h> struct timespec start, end; clock_gettime(CLOCK_MONOTONIC, &start); // 起始时间 // 执行待测代码... clock_gettime(CLOCK_MONOTONIC, &end); // 结束时间 // 计算纳秒级耗时 long elapsed = (end.tv_sec - start.tv_sec) * 1000000000L + (end.tv_nsec - start.tv_nsec); ``` #### 五、与相关技术的关系 1. **NTP/PTP 时间同步**： - 仅影响 `CLOCK_REALTIME` - 单调时间独立更新[^1] 2. **虚拟化支持**： - KVM 提供 `kvm-clock` 时钟源 - 保证虚拟机暂停期间单调时间连续 ### 总结 Monotonic Time 的实现本质是： 1. **硬件抽象**：通过 `clocksource` 统一访问计时硬件 2. **数学转换**：$$ T_{\text{ns}} = \frac{C_{\text{cycles}} \times \text{mult}}{2^{\text{shift}}} $$ 3. **增量更新**：严格通过加法维护单调性 4. **动态优化**：Tickless 模式降低开销 该机制为高性能计算、实时系统提供可靠时间基准，精度可达纳秒级。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我是小蔡呀～～～

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值