Attetion机制在LSTM中的使用（Seq2Seq)(Attetion主要做了什么）

原创 已于 2023-03-20 21:32:54 修改 · 240 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#lstm #深度学习 #机器学习

于 2023-03-20 21:27:35 首次发布
Attention机制是用于处理序列数据的一种方法，尤其在翻译系统中。通过LSTM分析句子产生的词向量，Attention模块确定每个词对句子生成的重要性，生成contextvector，这对于处理长句子的翻译非常有效。

https://www.bilibili.com/video/BV1jh41187Qq/?from=search&seid=13828532683994909740&spm_id_from=333.337.0.0&vd_source=de203b26ba8599fca1d56a5ac83a051c参考上述视频
一、总体
Attention机制就是注意力机制。
在翻译系统中使用LSTM，假如使用其来分析一个句子，如果这个句子被拆分成3个词向量，那么在LSTM中，会输出3个h矩阵。
在这里插入图片描述
这里将三个h矩阵输入Attetion模块中去计算，会输出一个context vector矩阵。

二、Attetion模块的具体使用
在这里插入图片描述
具体来说，Attention就是要确定哪一个词对于这一句话的生成（翻译）等最重要，这对于处理长句子是非常有用处的。

daweq
关注
基于pytorch的LSTM+自注意力机制的时间序列预测
houxuxu001的博客
06-28 1553
LSTM-自注意力机制代码+实战
基于普通RNN、LSTM、加入atttention的LSTM的指代消解【代码在文末】
zik的博客
06-10 626
setlength{\parindent}{0cm}%取消首行缩进\textbf{摘要：}本文简单利用了基于普通RNN、LSTM和加入atttention的LSTM的神经网络来完成指代消解任务。首先本文对指代消解任务进行了一个简要的介绍。其次分别给出了RNN、LSTM和加入atttention的LSTM的框图、机理分析以及测试分析。第三是对比三种模型训练时梯度消失的情况和在指代消解任务上的性能对比。最后关于此次实践作业做了一个总结。\textbf{关键词：}普通RNN;LSTM;
pytorch实现 CNN_LSTM_Attention_DNN网络模型
04-22 1621
pytorch实现 CNN_LSTM_Attention_DNN网络模型
多维时序 | MATLAB实现Attention-LSTM(注意力机制长短期记忆神经网络)多输入单输出
热门推荐
机器学习之心的博客，关注并私信文章链接，获取对应文章源码和数据。
09-27 2万+
多维时序 | MATLAB实现Attention-LSTM(注意力机制长短期记忆神经网络)多输入单输出 目录回归预测 | MATLAB实现Attention-LSTM(注意力机制长短期记忆神经网络)多输入单输出基本介绍模型背景 基本介绍 本次运行测试环境MATLAB2020b； 文章针对LSTM 存在的局限性，提出了将Attention机制结合LSTM 神经网络的预测模型。采用多输入单输出回归预测，再将attention 机制与LSTM 结合作为预测模型，使预测模型增强了对关键时间序列的注意力。 模型背
LSTM+Attentio
weixin_43321444的博客
05-30 191
https://blog.youkuaiyun.com/wishchin/article/details/80942853 https://blog.youkuaiyun.com/wangyanbeilin/article/details/81350683 embeddinghttps://blog.youkuaiyun.com/lrt366/article/details/88719207 lstm+attentionhttps:...
精选资源
RNN+Attention实现Seq2Seq中英文机器翻译（pytorch）实现
12-22
本项目使用RNN（循环神经网络）与Attention机制结合实现Seq2Seq（Sequence to Sequence）模型，以进行中英文之间的翻译。PyTorch是一个流行的深度学习框架，它提供灵活的API来构建和训练复杂模型，这里我们将详细...
PyTorch实战：字符级Seq2Seq翻译模型与Attention机制解析
最新发布
lazycatlove的博客
07-08 1113
前些天学了seq2seq和transformer，然后用机器翻译练习了一下，今天这篇博客就讲讲带注意力机制的seq2seq模型怎么做机器翻译。
Seq2Seq+Attention代码
MyHeartWillGoOn
12-26 1302
文章目录题目翻译任务比较和单纯的Seq2Seq的区别注意力分配公式得到hx完整代码 题目 ''' Description: Seq2Seq+Attention Autor: 365JHWZGo Date: 2021-12-18 18:24:19 LastEditors: 365JHWZGo LastEditTime: 2021-12-26 16:57:05 ''' 翻译任务 将Chinese time翻译成English time Chinese time order: yy/mm/dd [‘31-
第N7周：seq2seq详解
m0_62017984的博客
06-13 1086
seq2seq干了什么事情？seq2seq模型的输入可以是一个（单词、字母或者图像特征）序列，输出是另外一个（单词、字母或者图像特征）序列。一个训练好的seq2seq模型如下图所示：如下图所示，以NLP中的机器翻译任务为例，序列指的是一连串的单词，输出也是一连串单词。
Seq2Seq模型详解
qq_42791848的博客
01-08 2147
Seq2Seq 在RNN模型需要解决的问题中，有一类N v M的问题，即输入输出不等长问题。例如Machine Translation、Summarization就是这类问题的一些经典粒例子。这种结构又叫做Seq2Seq模型，或者叫Encoder-Decoder模型。 Intuition 我们以机器翻译问题为例，对于机器翻译问题，我们的任务是将一种语言的一句话翻译成另一种语言的一句话。那么显而易见的是，这就涉及到NLU(文本理解)和NLG(文本生成)任务。 Seq2Seq中的NLU 首先，我们需要使用一种语
Att-LSTM:Att-LSTM和分层式Att-LSTM
05-01
Att-LSTM的示意图 分层式Att-LSTM的示意图 要求 的Python 3.5.2 数据集 Hochreiter＆Schmidhuber提出了“添加问题”，并随机创建数据集。 手写数字分类（MNIST）的顺序版本，由tensorflow下载。 数据集是最常见的问题分类。 MSQC数据集是从提取的。 用法 训练模式 添加问题用法python test_add.py 棉选项 batch_size ：批量大小。 默认值为20。 step_size ：输入的长度，在我的论文中称为T。 在{100,200,400,600}中检查该值。 input_size ：输入的维数。 预设值为2。 output_size ：输出的尺寸。 默认值为1。 unit_size ：隐藏的单位数。 默认值为100。 learning_rate ：学习率。 默认值为0.001。 epoch_n
LSTM+Attention+CRF的原理讲解
数据大白的博客
10-12 4866
CRF 简单来说一组参数theta可以唯一确定一组模型，我们需要找到一组最优参数使得训练数据中 x->y 的概率最大化。将上述最大化的目标函数P取负，转化为最小化问题，即可用反向传播算法进行优化，找到近似最优参数theta。 在CRF模型中有一个简单的假设，即当前输出的标签只和上一级输出的标签以及当前的输入有关，所以Score(x, y)应该由两部分组成，一个是转移特征概率，一个是状态特征概率。什么意思呢，转移特征概率是指前一个输出标签为 B 的前提下我当前输出标签为某个值比如 I 的概率大小。而状
Attenion Lstm
Xwei1226的博客
08-31 524
参考文献，，mnist   ：  https://blog.youkuaiyun.com/u010041824/article/details/78855435
【LSTM-Attention】基于长短期记忆网络融合注意力机制的多变量时间序列预测研究（Matlab代码实现）
weixin_46039719的博客
10-24 456
在传统的LSTM模型中，输入序列的每个时间步都被平等对待，没有考虑到不同时间步的重要性差异。而引入注意力机制后，可以根据序列中的每个时间步的重要程度，对不同时间步的信息进行加权处理。而注意力层则根据序列中每个时间步的重要性，对LSTM层的输出进行加权融合，得到最终的预测结果。通过引入注意力机制，该方法能够更好地捕捉时间序列中的重要信息，提高预测的准确性和稳定性。该方法通过引入注意力机制，能够更好地捕捉时间序列中的重要信息，并提高预测的准确性和稳定性。博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。
Attention+GRU
沐阳的博客
06-25 8260
数据集 纳斯达克100 模型原理 模型代码 class Attention(Layer): def __init__(self, step_dim, W_regularizer=None, b_regularizer=None, W_constraint=None, b_constraint=None, bias=True, **kwargs): self.suppor...
DNN结构：CNN、LSTM/RNN中的Attention结构
wishchinYang的专栏
07-06 1万+
前言        attention作为一种机制，有其认知神经或者生物学原理: 注意力的认知神经机制是什么？        如何从生物学的角度来定义注意力？        大多数attention (gating) 技巧都可以直接加入现有的网络架构，通过合理设计初始化和训练步骤也可以利用现有网络的预训练参数。这大大扩展了这些技巧的适用范围。        参考此文：Recurrent...
CNN+LSTM+Attention+DNN深度学习实战教程分享！！
mqdlff_python的博客
10-02 2620
CNN+LSTM+Attention+DNN深度学习实战教程分享！！
基于ATT-LSTM的语音情感分类
haosen
01-24 4195
摘要 语音情感自动识别是近几年来人机交互领域的研究热点。 然而，由于缺乏对语音波形特点及时间特点的研究，目前的识别精度有待提高。为了充分利用时间特征里情绪饱和度的差异，提出了一种利用帧级语音特征结合基于注意力机制的长期短时记忆(LSTM)递归神经网络模型进行语音识别的方法。从语音波形中提取帧级语音特征，取代传统的统计特征，通过帧的序列来保持原始语音中的时序关系。本项目提出了一种基于LSTM的语音识别及语音情感识别方法，使用该模型的根本原因是它能够获得更好的结果。 实验结果表明，该方法比其他方法更有效。
seq2seq-attention 预测
07-27
seq2seq-attention是指在seq2seq模型中引入了注意力机制（Attention）。在传统的seq2seq模型中，编码器将输入序列转化为一个固定长度的向量，然后解码器将这个向量解码成输出序列。而在seq2seq-attention模型中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值