attention_mask矩阵应用

最新推荐文章于 2025-10-30 18:38:53 发布
原创 最新推荐文章于 2025-10-30 18:38:53 发布 · 3.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文演示了如何在PyTorch中使用Attention Mask来筛选有效的slot_logits，通过实例展示了如何将mask应用于logits张量，以实现对序列中有效元素的保留。

第一例

import torch

attention_mask = [[1,0,0],
                  [1,1,0],
                  [1,1,1]]
attention_mask = torch.tensor(attention_mask)
3个槽值
slot_logits = [[1,2,3],
               [4,5,6],
               [7,8,9]]
slot_logits = torch.tensor(slot_logits)

active_loss = attention_mask.view(-1
最低0.47元/天 解锁文章
huggingface/transformers，tokenizer出的attention_mask的坑
Love-Coding
06-15 1386
则tokenizer返回的。则tokenizer返回的。
transformer中的build_attention_mask
SisterRu的博客
06-23 1117
方法通过生成一个上三角掩码矩阵，确保了每个位置 ( i ) 只能关注位置 ( 0 ) 到 ( i )，而不能关注位置 ( i+1 ) 及之后的位置。这个机制通过在注意力分数计算中设置负无穷大，使得这些位置在 softmax 计算中得到接近零的权重，从而 effectively 被忽略。这对于生成任务（如语言模型）非常重要，确保模型在生成时只依赖已生成的部分，而不会看到未来的输入。
BERT模型中的input_ids和attention_mask参数
python_plus的博客
02-20 7110
介绍了BERT模型中的input_ids和attention_mask参数的含义和使用方法
Attention-mask 在transformer模型框架中的作用
li1784506的博客
11-19 8982
注意力机制的解释性博客比较多质量良莠不齐，推荐大家观看李宏毅老师关于注意力机制的讲解视频以及本人觉得对注意力机制讲解比较透彻的一篇博客[为更好解读注意力机制中attention-mask 的作用，现将注意力机制的原理进行总结。假设两个输入经过Wq、Wk、Wv矩阵（可训练）线性变换后获得q1=(1,2),q2=(0,1)，k1=(1,0),k2=(0,1)，v1=(1,0),v2=(0,1)向量。注意力机制核心就是向量q与向量k点乘后获得相似性分数（一个标量)。同理 q2也与所有的k向量点乘获得。
小杰-自然语言处理（eleven）——transformer系列——Attention中的mask
2501_92101354的博客
10-30 1038
野旷天低树，江清月近人。
attention-mask
weixin_43178406的博客
08-14 1221
参考链接：https://blog.youkuaiyun.com/weixin_40901056/article/details/97514718 def mask(inputs, queries=None, keys=None, type=None): """Masks paddings on keys or queries to inputs inputs: 3d tensor. (N, T_q, T_k) queries: 3d tensor. (N, T_q, d) keys:
Attention Mask
weixin_43889416的博客
03-29 3475
Mask大致分为两种 Padding Mask：在NLP任务中，由于句子长度不一致，经常会进行padding操作，在sequence中加入零向量。这部分padding不应该起作用，但是在Attention的计算中用到了softmax等操作，即便0向量也会参与计算(e^0=1)，因此需要手动将这部分信息mask才行。padding mask主要包含两种： key mask：在计算score之后，且softmax之前进行，将值设为很小的数字(如-e^12)，这样经过的softmax之后值几乎为0 query m
Transformer模型：Decoder的self-attention mask实现
weixin_62472350的博客
07-14 1238
这是对Transformer模型Word Embedding、Postion Embedding、Encoder self-attention mask、intra-attention mask内容的续篇。
Transformer模型：Encoder的self-attention mask实现
weixin_62472350的博客
07-13 1413
这是对Transformer模型的Word Embedding、Postion Embedding内容的续篇。
input_Ids, attention_mask
weixin_51130521的博客
04-17 5044
1, input_ids: 将输入到的词映射到模型当中的字典ID input_ids = tokenizer.encode("I love China!", add_special_tokens=False) # print:[100, 657, 436, 328] # 可以使用 如下转回原来的词，在选用的模型是Roberta可以用这个转回原来的 #RoBERTa相较于BERT最大的改进有三点： 1.动态Masking 2.取消NSP (Next Sentence predict) 任务 3.扩大B
input_Ids, attention_mask...
weixin_44219178的博客
12-17 1万+
input_Ids, attention_mask...
MixText中的attention_mask
m0_52073096的博客
12-13 1986
Mask大致分为两种 Padding Mask:在NLP任务中，由于句子长度不一致，经常会进行padding操作，在sequence中加入零向量。这部分padding不应该起作用，但是在Attention的计算中用到了softmax等操作，即便0向量也会参与计算（e^0=1),因此需要手动将这部分信息mask才行。padding mask主要包含两种： key mask:在计算score之后，且softmax之前进行，将值设为很小的数字（如－e^12),这样经过的softmax之后值几乎为0 ·que
Attention mask理解
热门推荐
qq_39783265的博客
06-27 1万+
Transformer的矩阵维度分析和Mask详解 Transformer 中self-attention以及mask操作的原理以及代码解析
DATAWHALE-动手学深度学习PyTorch 笔记记录2 attention mask
weixin_43246794的博客
02-18 1084
【Attention中mask pad的weight的做法】 在attention中，对attention score进行softmax时，需要考虑到query与pad计算得到的score应该忽略。我们在处理时可以先正常地用高维tensor形式将所有score计算出来，然后根据key的句长将pad所在位置的weight进行mask掉。 下面的代码实现了给定二维tensor X，根据X_len将X中...
attention_mask的用处
qq_26751379的博客
11-06 4126
attention_mask：避免用注意力机制的时候关注到填充符（翻译可能不准，大致这个意思） 参考链接：https://huggingface.co/transformers/model_doc/bert.html?highlight=tfbertmodel%20from_pretrained#tfbertmodel
挺有趣的，attention的mask可能有多种用法
有关我的科研的足迹、算法竞赛的日子、生活记录。
04-19 697
输入的mask与输入的seq长度不匹配时：有可能是需要mask掉prefixes。如上图所示，输入的mask是。
Transformer模型：intra-attention mask实现
weixin_62472350的博客
07-14 1357
前言这是对Transformer模型的Word Embedding、Postion Embedding、Encoder self-attention mask内容的续篇。
BertViz注意力掩码处理：理解attention_mask参数作用
gitblog_01151的博客
09-14 835
你是否曾困惑于为什么BERT模型能精准理解句子中词语间的关系？为什么在处理长文本时模型不会被无关信息干扰？注意力掩码（Attention Mask）正是这一切的幕后英雄。本文将通过BertViz可视化工具，从理论到实践全面解析`attention_mask`参数的工作机制，带你揭开Transformer模型中注意力计算的神秘面纱。 读完本文你将掌握： - 注意力掩码的核心原理与数学表达 - `a...
生成模型的中Attention Mask说明
weixin_42223207的博客
09-25 8479
生成模型中的attention mask 学习理解
input_ids = inputs["input_ids"] # 等效于旧的 source attention_mask = inputs["attention_mask"]
最新发布
11-09
其中 $M$ 是由 `attention_mask` 生成的掩码矩阵，填充位置设为 $-\infty$。 --- ### 相关问题 1. ESM-2的词汇表如何将氨基酸映射为整数ID？不同ESM-2模型版本的词汇表是否一致？ 2. 如果未提供 `attention_mask...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值