attention speech recognition

最新推荐文章于 2025-01-02 01:02:14 发布

转载最新推荐文章于 2025-01-02 01:02:14 发布 · 160 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/inception6-lxc/p/8473839.html

文章标签：

#人工智能

本文介绍了注意力机制的基本概念及其在Encoder-Decoder架构中的应用。注意力机制通过为输入的不同部分分配不同的权重来提升模型性能。文章还概述了四篇相关论文的内容，帮助读者深入理解注意力机制的工作原理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Attention：是一种权重向量或矩阵，其往往用在Encoder-Decoder架构中，其权重越大，表示的context对输出越重要。计算方式有很多变种，但是核心都是通过神经网络学习而得到对应的权重。通常第i步的输出Yi与其Attention权重aij相关，而权重aij与Decoder中的第i-1步的隐藏状态、Encoder中的第j层隐藏状态hj相关。接下来通过分析四篇论文来进一步了解其Attention的用法和构成。