Torch中transformer模块中两种mask的用法

最新推荐文章于 2025-03-18 15:36:29 发布
最新推荐文章于 2025-03-18 15:36:29 发布
阅读量2.8k 收藏
点赞数
分类专栏： torch API 文章标签： transformer pytorch 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LZS12321LZS/article/details/121207805
版权
本文解析了Transformer中两种mask的使用场景，一种用于masked attention的字节或布尔tensor，0/False表示unmask；另一种用于padding处理，True表示需要忽略。通过实例和官方文档对比，帮助读者更好地掌握这两种关键概念。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

官方代码给的解释两种mask看的太绕，这里记录一下

先贴出原文解释

先理解mask是要将某位置忽略（ignore），不参与计算，而unmask反之。

第一种mask是用于masked attention模块，对于byteTensor，0代表unmask，非0代表mask，对于boolTensor，True代表mask，False代表unmask。

第二种mask是用于padding过程，True代表mask，False代表unmask。

参考：

 Transformer — PyTorch 1.10.0 documentation

QML中【预计符号】和【Unknown Component M300】的红色警告解决方法
尔雅慕客的博客
04-24 3071
问题描述： QML的项目中带中文，每次打开项目都在问题栏显示【预计符号】的红色警告，还有一种是【Unknown Component M300】的警告，代码能正常编译和运行。像我这样对代码追求优雅的强迫症患者看着很不爽，查了很多网上的方法尝试也没有得到解决。
QT的QQmlComponent类的使用
希望我的博客，能帮上你解决学习中工作中所遇到的问题
12-20 1099
详细说明 QQmlComponent类封装了QML组件定义。 组件是具有良好定义的接口的可重用的，封装的QML类型。 可以从QML文件创建QQmlComponent实例。例如，如果有一个main.qml文件，如下所示： import QtQuick 2.0 Item { width: 200 height: 200 } 以下代码将此QML文件作为组件加载，使用create（）创建此组件的实例，然后查询Item的width值： QQmlEngine *engine =
Qt QML Component
QtCompany的博客
05-25 752
那么这两种方式分别适用于什么场景呢？这里有一个原则可以帮助我们去选择Component的定义方式：如果一个Component比较小且只在某个QML文件中使用，或者说一个Component从逻辑上来看属于某个QML文档，那么就可以采用嵌入的方式来定义该Component；在单独文件中定义Component，与嵌入式定义有明显的不同：Component对象不见了，是因为在单独文件中定义组件，不需要Component对象，只有在其他QML文件中嵌入式定义组件时才需要Component对象。
qml component is not ready
weixin_34417635的博客
06-13 2459
2019独角兽企业重金招聘Python工程师标准>>> ...
QQmlComponent加载component
LC900730的博客
09-13 3467
QQmlComponent创建//main.cpp QQmlEngine *engine=ne QQmlEngine(); QQmlComponent component(engine); component.loadUrl(QUrl("qrc:///main.qml"));if(component.isReady()){ QObject *myObject=component.create
QML QQmlComponent
baidu_41388533的博客
05-17 1050
QQmlComponent QmlComponent类封装了一个QML component定义 Header: #include <QQmlComponent> qmake: QT += qml Since: Qt 5.0 Instantiated By: Component Inherits: QObject Public Types enum CompilationMode{ PreferSynchronous, Asynchr..
qt之qml
Stay fool & simple
07-14 445
初入qml
QQmlComponent: Component is not ready 是什么原因？如何解决？
10-30
QQmlComponent: Component is not ready 是Qt Quick（一种用于构建用户界面的框架）中的一个常见错误，它表示你试图在组件（Component）还没有完全加载完成或者初始化完毕的时候就去使用它。这通常是由于以下几个...
Qt编译问题：自定义Qml模块插件运行时出现错误
弓人水的技术分享
06-17 2332
问题现象 /home/user/Qt/Qt5.6.3/5.6.3/gcc_64/bin/qmlplugindump -nonrelocatable Qt.Custom 0.1 > /home/user/Source/QtCustom/src/imports/custom/plugins.qmltypes QQmlComponent: Component is not ready QQmlApplicationEngine failed to load component qrc:/main.qml:
QtQuick QML教程(36)：qml property使用介绍
琅嬛福地
12-04 1495
QML 中的属性property是一个重要的概念，用于定义和访问QML对象的数据。在QML中，属性可以是各种类型，包括基本数据类型（如int, double, string）和复杂类型（如对象和列表）。属性在QML中可用于数据绑定、事件处理和界面更新。
QML与C++交互
最新发布
深之JohnChen的专栏
03-18 765
QML 与 C++ 的交互是 Qt Quick 开发的核心需求，常用于将界面逻辑与底层业务逻辑解耦。
安装VTK遇到的问题
qq_39174336的博客
01-09 767
编译VTK过程中报错。通过以下命令得到解决。
8.QML中的组件Component
热门推荐
不会飞的纸飞机的博客
07-14 2万+
本篇文章介绍一下QML中的组件，Component 1. 使用Component在QML中嵌入组件 2. 在文件中定义组件 3. 使用Loader加载/删除组件 4. 使用JavaScript中的语句加载/删除组件 1. 使用Component在QML中嵌入组件 Component是Qt框架或者开发者封装好的、只暴露必要接口的QML类型，可以重复使用。要再QML中嵌入Comp...
Component QML Type 译文
Simon的博客
03-16 362
封装一个QML组件定义。 import声明：import QtQml 2.15 实例化：QQmlComponet 属性 progress: real status: enumeration url: url 连接的信号 completed() destruction() 方法 object createObject(QtObject parent, object properties) string errorString() object incuba...
QML中动态创建组件(同步/异步)的方法
梦起丶的博客
08-11 7167
【写在前面】 在QML中想要动态创建组件，一般有两种方法： 1、使用Loader。 2、使用JavaScript：Qt.createComponent() / Qt.createQmlObject()。 当然，这里不仅会介绍他们的一般用法，还有如何使用它们来进行同步/异步的创建。 【正文开始】 首先介绍Loader： 很简单，我们可以先声明，然后通过动态设置它的source / s...
如何使用UserMetric发布消息到Welcome Screen
Elastic 中国社区官方博客
08-28 1351
我们可以通过UserMetric的API发布消息到我们手机的欢迎页面（手机的锁屏界面）。在锁屏界面中，我们可以双击中间的圆圈，来循环播放我们手机发布的消息。如下图所示， 我们发布了“Usermetric messages received: 4”个消息。
Qt常见错误
小识的博客
09-13 9329
no such slot的问题1、看类声明中有没有Q_OBJECT 2、看slot函数有没有声明 3、查看slot有没有出现拼写错误Will try to launch the process directly某个变量没有初始化no matching function for call to’QAction::QAction()’ : QMainWindow(parent)没有构造函数，原来是我
Qt qml在开发板上报错QQmlApplicationEngine failed to load component
-凌凌漆-的博客
09-02 4883
【代码】Qt qml在开发板上报错QQmlApplicationEngine failed to load component。
Uncaught TypeError: app.component is not a function
qq_45327886的博客
08-13 9350
Uncaught TypeError: app.component is not a function
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值