Query-Key Normalization for Transformers

原创 已于 2025-09-09 21:55:28 修改 · 152 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #人工智能

于 2025-09-09 15:33:57 首次发布

余弦相似注意力
 论文：Query-Key Normalization for Transformers
「简介：」 低资源语言翻译是一个具有挑战性但社会价值高的NLP任务。在最近针对这一设置调整Transformer规范化的工作基础上，作者提出了QKNorm，一种修改注意力机制的规范化技术，使得softmax函数不易受到任意饱和的影响，同时不牺牲表达能力。具体来说，作者在将查询和键矩阵相乘之前，沿着头部维度对它们应用ℓ2规范化，然后用一个可学习的参数进行放大，而不是除以嵌入维度的平方根。

return1999
关注
RT-DETR改进策略【Conv和Transformer】| CVPR-2021 Bottleneck Transformers 简单且高效的自注意力模块
Limiiiing的博客
11-27 345
本文记录的是利用优化的目标检测网络模型。标准的卷积操作虽然能有效捕获局部信息，但在处理需要全局信息整合的任务时存在局限性，而自注意力机制能够有效地建模长距离依赖，因此考虑将其引入到视觉架构中。本文利用将标准卷积和自注意力相结合，提高模型的全局感知能力。Bottleneck Transformers for Visual Recognition是一种将自注意力（Self-Attention）融入计算机视觉任务的骨干架构，其设计的原理和优势如下：是通过将ResNet瓶颈块中的空间3×3卷积替换为来构建的（如图所
生成式深度学习(第二版)-译文-第九章-Transformers (II)
GarryWang1248的博客
11-14 581
… 接。
24个Transformer模型高效魔改变体盘点，无bug拿来即用
热门推荐
学姐带你玩AI的博客
01-24 1万+
FlashAttention是一种新的算法，它使得Transformer模型（一种广泛用于自然语言处理的深度学习模型）在处理长文本序列时能够更快且更节省内存。这个算法通过优化GPU内存的使用来减少内存读写次数，从而提高了计算效率。实验结果表明，使用FlashAttention训练的模型不仅训练速度更快，而且能够处理更长的文本序列，提高了模型的性能和能力。
Transformer家族纵览
wshzd的博客
06-19 1366
paper：https://arxiv.org/abs/2106.04554.pdf 前言 转眼间Transformer的提出已经有四年之久了，Transformer依靠弱归纳偏置和易于并行的特点，在人工智能领域大放异彩，尤其在NLP和CV领域。从Transformer论文《Attention is AllYou Need》的题目来看，有些言过其实了，事实上论文《Attention is Not All You Need: Pure Attention Loses Rank Dou...
三篇助你理解Transformer 中的 Query、Key 与 Value
missgrass的博客
01-20 8266
如何理解 Transformer 中的 Query、Key 与 Value 这一篇主要是帮助你用比喻的手法来了解一下 attention机制中的query,key,value的概念解释 这一篇帮你用图来了解过程 如何理解 Transformer 中的 Query、Key 与 Value 这一篇总结收尾 就是 Query*Key其实就是计算相关度或叫依赖度，然后经过softmax转为权重，针对可能的y计算加权和就得到最终的结果了。 其实就是用你Query*Key算出来一个权重，然后再跟value计算一下子，出
24个Transformer模型高效魔改变体盘点，无bug拿来即用！
python12345_的博客
07-08 2294
FlashAttention是一种新的算法，它使得Transformer模型（一种广泛用于自然语言处理的深度学习模型）在处理长文本序列时能够更快且更节省内存。这个算法通过优化GPU内存的使用来减少内存读写次数，从而提高了计算效率。实验结果表明，使用FlashAttention训练的模型不仅训练速度更快，而且能够处理更长的文本序列，提高了模型的性能和能力。
nlp-with-transformers系列-03_剖析transformers模型
yanqianglifei的专栏
03-15 2456
transformers模型剖析
DeiT : Training data-efficient image transformers & distillation through attention
qq_47896523的博客
07-28 1036
查询向量与一组k个键向量(组合成一个矩阵)使用内积进行匹配。然后用softmax函数对这些内积进行缩放和规范化以获得 k 个权重。注意力的输出是一组 k 个值向量(打包成)的加权和。对于一个包含N个查询向量的序列(封装到中)，它产生一个输出矩阵(大小为N × d):其中Softmax函数应用于输入矩阵的每一行。提供了适当的规格化。为了防止当d较大时，点积结果会非常大，导致softmax函数的梯度变得非常小，从而引发梯度消失问题。缩放因子有助于保持梯度的稳定性。
时间序列：Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting
weixin_44340277的博客
04-24 861
这篇论文应该是比较经典的。论文主要是针对 Transfomer框架之于时间序列 做两方面工作。首先提出两个问题：1. 从长期时间序列中直接发现时间依赖关系是不可靠的，因为复杂交织的时间模式会掩盖这些依赖关系；也就是如何发现依赖关系，如何从seq_len中采样，找到有用的信息。2. Transformer模型采用自注意力机制，其计算复杂度随序列长度呈二次增长，在长期预测中计算成本极高；也就是如何降低复杂度（针对前面说的 稀疏聚合 点聚合）。解决思路：1. “引入“分解”这一思路。
[Transformer]ViT-ResNAS:Searching for Efficient Multi-Stage Vision Transformers
qq_37151108的博客
10-25 697
ViT-ResNAS:搜索高效的多阶段视觉Transformer
AbstractSection I IntroductionSection II MethodPart 1 Vision TransformerPart 2 Residual Spatial ReductionPart 3 Weight-Sharing NAS with Multi- Architectural SamplingPart 4 Extra Technique
Token labeling with CutMix and MixU
YOLOv11 改进策略 | CVPR-2021 Bottleneck Transformers：简单且高效的自注意力模块
走向CTO的路上...
06-18 1122
在计算机视觉领域，结合卷积神经网络（CNN）和 Transformer 的优势已成为提升模型性能的重要趋势。CNN 擅长处理局部特征并具有良好的归纳偏置，而 Transformer 则在捕捉全局上下文和长距离依赖方面表现出色。然而，Transformer 的核心——标准自注意力机制——计算复杂度较高。
Hello-Agents —— 03大语言模型基础 通俗总结
weixin_45644347的博客
11-29 1124
本文系统介绍了大语言模型的基础知识和发展历程。首先讲解了从N-gram到神经网络的演进过程，分析了RNN/LSTM的优缺点。重点解析了Transformer的核心组件，包括自注意力机制、多头注意力和位置编码，并对比了三种主流架构。最后详细介绍了与大模型交互的技巧，包括采样参数设置、提示工程方法和分词技术，为理解和使用大语言模型提供了全面指导。
大语言模型进阶（一）之大语言模型基础
最新发布
qq_22341693的博客
12-02 735
本文系统剖析了大语言模型（LLM）的技术基础，重点阐述了Transformer架构的核心机制及其演进。首先解析了Transformer的解码器结构，包括嵌入表示层、注意力层（特别是多头注意力和因果注意力）、前馈网络以及残差连接与层归一化等关键组件。随后介绍了GPT模型的生成式预训练范式，包括无监督预训练和有监督微调两阶段方法。接着以LLaMA为例，详细探讨了现代大语言模型的结构优化，包括前置RMSNorm、SwiGLU激活函数、旋转位置编码(RoPE)以及分组查询注意力(GQA)等创新技术。最后从实践角度提
推荐两个开源社区-Hugging Face(自然语言处理)和OpenMMLab(计算机视觉)
wxzuobi的博客
11-30 242
随着Transformer架构在自然语言处理领域的革命性突破，该公司在2019年开源了Transformers库，这个举措使其迅速成为NLP领域的事实标准。它的平台提供了海量的开源预训练模型、数据集和在线工具，特别适合快速原型开发和模型部署。而OpenMMLab则以其专业性和系统性见长，它提供了一整套模块化、高质量的代码库，非常适合进行计算机视觉的深入研究和算法开发。Hugging Face和OpenMMLab就是在这样的背景下诞生的两个重要平台，它们虽然都致力于推动AI技术的发展，但侧重点各不相同。
AI核心知识25——大语言模型之RAG（简洁且通俗易懂版）
学习AI中...
11-30 800
RAG（检索增强生成）被誉为治疗大模型“幻觉”的特效药。它通过给大模型外挂一个“实时图书馆”，将其工作模式从全靠记忆的“闭卷考试”转变为有据可查的“开卷考试”。 其工作流程包含三步：首先检索外部知识库中的相关段落；其次将资料与问题结合进行增强；最后由大模型基于事实生成回答。RAG完美解决了传统大模型数据滞后、无法访问私有数据及胡编乱造的三大痛点。相比昂贵的微调（Fine-tuning），RAG具有成本低、更新快的优势，是目前90%企业级应用（如客服、文档助手）的首选技术方案。
微论-自成长系统引发的NLP新生
小召的专栏--百汇电脑学校(www.i5school.com)
12-01 884
然而，在这繁荣的表象背后，一个根本性的隐忧始终存在，正如我们所洞察的：这些模型从庞大的语料库中学习，却从未有过真实的“体验”。一个扎根于体验的系统，才有可能像人类一样，将“时间流逝”的抽象概念与“河流奔涌”的视觉体验进行深层次类比，创作出真正富有洞察力和感染力的诗歌与故事，而非简单的语料重组。1. 动作与概念的绑定：系统通过传感器“看到”一个球，发出指令控制机械臂“去拿”，在成功触碰到球的反馈中，开始将“球”、“拿”、“圆形”、“滚动”等概念与具体的动作成功和感官反馈紧密绑定。轻轻碰它，则只移动一点点。
【人工智能】AI 人工智能 技术 学习路径分析 ③ ( NLP 自然语言处理 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
11-30 1143
一、第五步 : NLP 自然语言处理 1、学习目标 3、入门阶段 - 文本预处理 ① 语言基础与 NLP 认知 ② 文本预处理 ③ 传统 NLP 工具与基础模型 4、进阶阶段 - 深度学习 与 Transformer ① 词向量 ② 序列模型 ③ Transformer 架构 ④ 预训练模型 5、实战阶段 - 工程落地 ① 工程任务类型 ② 工程核心开发工具 ③ 工程部署与优化
AI核心知识23——大语言模型之System Prompt（简洁且通俗易懂版）
学习AI中...
11-29 862
System Prompt是AI模型的“角色剧本”，作为最高优先级指令在对话前设定。它决定了AI的角色定位、回答方式和禁忌范围，类似导演给演员讲戏。技术上，System Prompt位于API调用的首位，具备三大功能：确立角色、设定安全边界、规定输出格式。与用户可见的User Prompt不同，System Prompt是开发者设定的隐藏指令，贯穿整个对话。为防止“提示词注入”攻击，现代AI会加强防御以保持角色一致性。简言之，System Prompt就是AI的"人设配置文件"
what matters in transformers?
01-19
### Key Components and Concepts in Transformers Architecture Transformers rely heavily on self-attention mechanisms, which constitute a critical part of their design[^1]. Self-attention allows models to weigh the significance of different words within a sentence relative to every other word. This mechanism enables more effective processing of sequential data without being constrained by fixed-length context windows. The architecture also incorporates multi-head attention layers that permit the model to jointly attend to information from different representation subspaces at various positions. Each head learns distinct patterns leading to richer representations overall. Positional encodings are added to the input embeddings since the self-attention layer does not inherently capture positional relationships between tokens. These encodings provide necessary ordering information about sequences so that the network can understand where each element appears in relation to others. Normalization techniques such as Layer Normalization play an essential role too; they stabilize training dynamics across multiple stacked transformer blocks ensuring consistent performance throughout deep networks. Feed-forward neural networks follow after normalization steps providing non-linearity required for learning complex mappings between inputs and outputs. ```python import torch.nn as nn class TransformerBlock(nn.Module): def __init__(self, embed_size, heads, dropout, forward_expansion): super(TransformerBlock, self).__init__() self.attention = MultiHeadAttention(embed_size, heads) self.norm1 = nn.LayerNorm(embed_size) self.norm2 = nn.LayerNorm(embed_size) self.feed_forward = nn.Sequential( nn.Linear(embed_size, forward_expansion * embed_size), nn.ReLU(), nn.Linear(forward_expansion * embed_size, embed_size), ) self.dropout = nn.Dropout(dropout) def forward(self, value, key, query, mask): attention = self.attention(value, key, query, mask) # Add & Norm x = self.dropout(self.norm1(attention + query)) forward = self.feed_forward(x) out = self.dropout(self.norm2(forward + x)) return out ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值