从熵不变性看Attention的Scale操作

最新推荐文章于 2024-06-09 19:08:44 发布
转载 最新推荐文章于 2024-06-09 19:08:44 发布 · 184 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://kexue.fm/archives/8823
文章标签：

#transformer

文章探讨了self-attention中使用sqrt(dk)作为缩放因子的原因，旨在保持方差和二阶矩的稳定性。作者提出了一个基于熵不变性的新视角，并且通过MLM实验验证了一个改进的缩放因子，该因子在长度外推性能上表现出优越性。

关于self attention里为什么sqrt(dk)，有几个角度的解释：

  • 保证方差不变
  • 保证二阶矩稳定，参考https://blog.youkuaiyun.com/taoqick/article/details/130798295?spm=1001.2014.3001.5502
  • 这是下面转载文章提到的观点，笔者将从“熵不变性”的角度来理解这个缩放操作，并且得到一个新的缩放因子。在MLM的实验显示，新的缩放因子具有更好的长度外推性能。
    在这里插入图片描述
taoqick
关注
【NLP】(task2)图解attention+transformer（代码讲解）
发现问题，并解决问题，批判性思维
08-17 3249
学习心得 （1） 文章目录学习心得第1部分：attention一、seq2seq模型二、进一步理解细节2.1 初探RNN2.2 word embedding2.3 RNN机制及其可视化三、Attention 讲解可视化注意力第2部分：transformer一、前言二、从整体宏观来理解 Transformer三、从细节来理解 Transformer3.1 Transformer 的输入3.3 Encoder(编码器)3.3 Self-Attention 整体理解四、Self-Attention 的细节4.1
Prompt-Tuning——深度解读一种新的微调范式
热门推荐
夏栀的博客
11-19 8万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
[NLP]——Transformer中的attention为什么要做scale？
jokerxsy的博客
04-30 5753
前言 说起Transformer的self-attention，很容易想到下面的公式： Attention(Q,K,V)=softmax(QKT/dk)VAttention(Q,K,V) = softmax(QK^T/\sqrt{d_k})VAttention(Q,K,V)=softmax(QKT/dk​​)V 假设X是输入，分别经过WQW_QWQ​、WKW_KWK​和WVW_VWV​映射得到QQQ、KKK和VVV，【dkd_kdk​=Q.size(-1)=K.size(-1)】，通过QQQ和KKK的dot
​从熵不变性看Attention的Scale操作
Paper weekly
12-30 1410
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 追一科技研究方向 | NLP、神经网络当前 Transformer 架构用的最多的注意力机制，全称为“Scaled Dot-P...
transformer中的attention为什么scaled?
小岁月太着急
08-26 5576
《Attention Is All You Need》中解释是：向量的点积结果会很大，将softmax函数push到梯度很小的区域，scaled会缓解这种现象。怎么理解将sotfmax函数push到梯度很小区域？还有为什么scaled是维度的根号，不是其他的数？ Google的一般化Attention思路也是一个编码序列的方案，因此我们也可以认为它跟RNN、CNN一样，都是一个序列编码的层。 ...
Attention 机制 -- Transformer
zhang2010hao的博客
11-06 428
Attention 机制 – Transformer 推荐先看 The Illustrated Transformer 代码： The Annotated Transformer 此外，代码十分推荐看 Bert-pytorch 里面的实现，代码比上述的要更加清晰，可以看完上述代码与 bert 之后再看。 1. Scaled Dot-product Attention 首先， Q 与 K 进...
浅析NLP中的Attention技术
guofei_fly的博客
04-18 1401
【Reference】 遍地开花的 Attention ，你真的懂吗？ An Introductory Survey on Attention Mechanisms in NLP Problems
从梯度最大化看Attention的Scale操作
Paper weekly
11-13 663
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 月之暗面研究方向 | NLP、神经网络我们知道，Scaled-Dot Product Attention 的 Scale 因子是，其中 是 的维度。这个 Scale 因子的一般解释是：如果不除以 ，那么初始的 Attention 就会很接近 one hot 分布，这会造成梯度消失，导致模型训练不起来。然而，可以证明的是，当 Scal...
Attention为什么要除以根号d
qq_50988647的博客
06-09 2726
我们知道，attention结构中注意力得分的计算公式为，其中分别表示及其维度，那么为什么在计算score的时候要除以呢？这个问题比较考验各位同学的数学功底，我将从自己理解的角度进行分析，欢迎大家评论指正。
[论文阅读] RT-1: ROBOTICS TRANSFORMER FOR REAL-WORLD CONTROL AT SCALE
qq_33673253的博客
02-26 2982
通过从大型、多样化的任务识别数据集转移知识，现代机器学习模型可以解决特定的下游任务，无论是。虽然这种能力已经在计算机视觉、自然语言处理或语音识别等其他领域得到了证明，但它仍有待于机器人领域的展示，因为难以收集真实世界的机器人数据，因此模型的泛化能力尤其关键 the generalization capabilities of the models are particularly critical。
论文解读-Multi-scale Anomaly Detection on Attributed Networks
闯入网络安全的数据分析小白
05-11 1496
原文：Gutiérrez-Gómez, Leonardo, Bovet A , Delvenne J C . Multi-scale Anomaly Detection on Attributed Networks[J]. 2019. 摘要 当前属性网络在很多领域中得到广泛应用，尤其是社交网络和金融领域，属性网络的边表示实体之间的关系，而实体则由属性网络中的不同节点属性来表示。而异常检测对于发现诸如信用卡欺诈、网络垃圾邮件和网络入侵等异常行为至关生要。属性图中的异常节点是指该节点的属性与参考节点的属性差
对Attention is all you need 的理解
mijiaoxiaosan的博客
06-14 6万+
对谷歌Attention is all you need 的理解。
高校如何建立科研人员驻企服务的考核标准？_1.docx
12-16
高校如何建立科研人员驻企服务的考核标准？_1
大学如何评估中试基地对区域经济的拉动效应？.docx
12-16
大学如何评估中试基地对区域经济的拉动效应？
IMG_0338.jpg
12-16
IMG_0338.jpg
安卓应用源码Android仿百度地图气泡程序源码
最新发布
12-16
安卓应用源码Android 仿百度地图气泡程序源码
MYVU 2.48.8 安装包
12-16
MYVU 安装包 版本号 2.48.8。
算法设计基于分枝限界法的最短路径求解：优先队列优化的带权有向图路径搜索
12-16
内容概要：本文主要介绍分枝限界法的基本思想与应用，重点阐述其基于广度优先或优先队列的搜索策略。通过节点分支生成子问题，并利用界值进行剪枝，避免无效搜索，提升效率。文中详细说明了该方法的两大核心机制：一是以节点为单位进行扩展，从根节点出发逐步生成子节点；二是基于界值判断是否剪枝，若当前路径长度已不优于最优解则停止扩展。同时给出了使用优先队列实现最短路径求解的具体C++程序，针对带权有向图从起点s到终点t搜索所有最短路径，记录最短路径长度及条数。; 适合人群：具备数据结构与算法基础，正在学习算法设计与分析的高校学生或初级程序员； 使用场景及目标：①理解分枝限界法与回溯法的区别，掌握其在最优化问题中的应用；②通过实际代码掌握优先队列在状态扩展中的使用，深入理解剪枝条件的设计逻辑； 阅读建议：建议结合文中代码仔细分析搜索过程与剪枝条件，手动模拟队列变化流程，加深对分枝限界法执行机制的理解，并可尝试修改图结构验证算法正确性。
高等院校如何建立跨部门数据共享安全规范？.docx
12-16
高等院校如何建立跨部门数据共享安全规范？
SIFT特征实现：尺度与旋转不变性核心代码示例
SIFT（尺度不变特征变换）是由David Lowe在1999年提出的一种算法，用于从图像中检测和描述局部特征。这些特征可以用来进行物体识别，图像配准，3D建模以及通过特征来获取图像内容的语义信息。在SIFT算法中，尺度不变...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值