GiantPandaCV | FasterTransformer Decoding 源码分析(六)-CrossAttention介绍

最新推荐文章于 2025-04-06 11:43:29 发布
最新推荐文章于 2025-04-06 11:43:29 发布
阅读量1k 收藏 27
点赞数 26
分类专栏： 深度学习拓展阅读 Transformer专栏 文章标签： 前端 数据库 python 深度学习 人工智能 transformer 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/csdn_xmj/article/details/139237005
版权

本文来源公众号“GiantPandaCV”，仅用于学术分享，侵权删，干货满满。

原文链接：FasterTransformer Decoding 源码分析(六)-CrossAttention介绍

GiantPandaCV | FasterTransformer Decoding 源码分析(一)-整体框架介绍-优快云博客

GiantPandaCV | FasterTransformer Decoding 源码分析(二)-Decoder框架介绍-优快云博客

GiantPandaCV | FasterTransformer Decoding 源码分析(三)-LayerNorm介绍-优快云博客

GiantPandaCV | FasterTransformer Decoding 源码分析(四)-SelfAttention实现介绍-优快云博客

GiantPandaCV | FasterTransformer Decoding 源码分析(五)-AddBiasResidualLayerNorm介绍-优快云博客

作者丨进击的Killua

来源丨https://zhuanlan.zhihu.com/p/670739629

编辑丨GiantPandaCV

本文是FasterTransformer Decoding源码分析的第六篇，笔者试图去分析CrossAttention部分的代码实现和优化。由于CrossAttention和SelfAttention计算流程上类似，所以在实现上FasterTransformer使用了相同的底层Kernel函数，因此会有大量重复的概念和优化点，重复部分本文就不介绍了，所以在阅读本文前务必先浏览进击的Killua：FasterTransformer Decoding 源码分析(四)-SelfAttention实现介绍这篇文章，一些共性的地方会在这篇文章中做统一介绍，本文着重介绍区别点。

一、模块介绍

如下图所示，CrossAttention模块位于DecoderLayer的第4个模块，输入为经过LayerNorm后的SelfAttention结果和encoder的outputs，经过该模块处理后进行残差连接再输入LayerNorm中。

CrossAttention在decoder中的位置

CrossAttention模块本质上还是要实现如下几个公式，主要的区别在于其中 CrossAttention 的K, V矩阵不是使用 上一个 Decoder block的输出或inputs计算的，而是使用Encoder 的编码信息矩阵计算的，这里还是把公式放出来展示下。

crossAttention 公式

二、设计&优化

整体Block和Thread的执行模型还是和SelfAttention的保持一致，这里不再赘述，主要介绍一下有一些区别的KV Cache。

1. KV Cache

由于在CrossAttention中K,V矩阵是来自于已经计算完成的Encoder输出，所以KV Cache的程度会更大，即第一次运算把KV计算出来之后，后续只要读取Cache即可，不需要用本step的输入再进行线性变换得到增量的部分K,V，如下图所示。

三、源码分析

1. 方法入口

CrossAttention的调用入口如下，解释下这里的输入和输出，具体逻辑在后面。

输入Tensor

  1. input_query：normalize之后的SelfAttention输出，大小是[batch_size,hidden_units_]

  2. encoder_output: encoder模块的输出，大小是[batch_size, mem_max_seq_len, memory_hidden_dimension]

  3. encoder_sequence_length：每个句子的长度，大小是[batch_size]

  4. finished: 解码是否结束的标记，大小是[batch_size]

  5. step: 当前解码的步数

输出Tensor

  1. hidden_features：CrossAttention的输出feature，大小是[batch_size,hidden_units_]，和input_query大小

最低0.47元/天 解锁文章
MIT提出基于Transformer的Cross-Layer Attention：江湖骗子还是奇思妙想
鲁班模锤
05-24 1397
键值(KV)缓存对于加速基于Transformer的大型语言模型 (LLM) 的解码至关重要。多查询注意力（MQA）和分组查询注意力（GQA）通过允许多个查询头共享单个键/值头，可以有效地减少 KV 缓存大小。跨层注意力（CLA）通过在相邻层之间共享键和值头来进一步实现这一点，从而在保持准确性的同时将 KV 缓存大小减少 2 倍。CLA针对位于传统帕累托前沿的MQA进行改进，在推理过程中实现更长的序列长度和更大的批量大小。
交叉注意力机制CrossAttention
热门推荐
m0_63097763的博客
08-15 7万+
Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation、Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation、CrossAttention的计算过程、Encoder-Decoder架构中CrossAttention的输入要求略有不同
Stable Diffusion 中 Cross Attention 实现原理解析（含代码讲解）
qq_43069203的博客
04-06 839
在 Stable Diffusion 的 U-Net 中，是将文本提示与图像特征对齐融合的关键模块，本文将结合一段 Python 实现代码，逐行解释其原理。
Cross Attention（XATTN ）pytorch实现
Czi.的博客
08-02 2927
XATTN 是 “Cross Attention” 的缩写，表示交叉注意力机制。这是一种在多模态模型中常用的机制，用于在不同模态（例如，视觉和文本）之间建立联系和融合信息。
语义分割CCNet-Criss Cross Network论文中注意力机制Criss Cross Attention模块的tensorflow代码实现
hc1104349963的博客
11-13 2209
Criss Cross Attention 模块的tensorflow代码实现 也是边学习边写代码，如有问题和指正，请联系！！！ 参照论文解读文章进行论文理解和代码编写。 论文原地址：CCNet 模块结构 Affinity 操作 import tensorflow as tf from tensorflow.keras import layers from tensorflow import keras class criss_cross_attention_Affinity(tf.keras.l
【深度学习中的注意力机制10】11种主流注意力机制112个创新研究paper+代码——交叉注意力（Cross-Attention）
985小水博的摸鱼日常
10-25 4023
【深度学习中的注意力机制10】11种主流注意力机制112个创新研究paper+代码——交叉注意力（Cross-Attention）
【深度】交叉注意力机制
weixin_50862344的博客
06-10 7331
交叉注意力机制，也称为cross-attention，是指在注意力机制中，一个序列中的某个位置与另一个序列中的所有位置进行注意力计算。
Axial Attention 和 Criss-Cross Attention及其代码实现
fzl的博客
06-15 1万+
Axial Attention 和 Criss-Cross Attention及其代码实现 ​ 文章目录Axial Attention 和 Criss-Cross Attention及其代码实现1 Criss - Cross Attention介绍1.1 引言1.2 理论实现1.2.1 获取权重A1.2.2 Affinity操作1.3.3 全部信息获取1.3 代码实现1.3.1 官方实现1.3.2 纯pytorch实现2 Axial Attention 介绍2.1 引言2.2 理论实现2.3 代码实现2.3
SCAN:PyTorch“用于图像-文本匹配的堆叠式交叉注意”的源代码（ECCV 2018）
05-03
介绍 这是Stacking Cross Attention网络，它是Microsoft AI and Research （） 源代码。 该论文将出现在ECCV 2018中。该论文建立在PyTorch的之上。 要求和安装 我们建议以下依赖项。 Python 2.7 0.3 （> 1.12.1） 朋克句子分词器： import nltk nltk . download () > d punkt 下载资料 下载数据集文件和预训练的模型。 我们使用产生的。 可以从，和的原始来源下载原始图像。 MS-COCO的预先计算的图像特征从。 从此处使用自下而上的注意力模型从原始Flickr30K图像中提取Flickr30K的预先计算的图像特征。 可以从以下位置下载用于再现论文中的实验所需的所有数据，包括图像特征和词汇表： wget https://iudata.blob.core.windo
Criss-Cross Attention for Semantic Segmentation论文及代码分析
Strange_Gu的博客
04-26 4071
先附上论文及代码。 1. Introduction 由于固定的几何结构，传统的FCN受限于局部的感受野，只能提供短程的上下文信息。这对于提升分割任务的精度起到相反的影响。 为了弥补FCN的缺陷，ASPP和PPM模块被提出来，在网络的底层中加入有效的上下文特征。但是膨胀卷积并不能够产生密集的上下文信息。同时，基于池化的方法以非自适应的方式聚合上下文信息，并且认为所有图像像素具有相同的重要性，这不能满足不同像素需要不同的上下文依赖关系的要求。 为了包含密集的且逐像素的上下文信息，一些全连接的GNN方法被提出来
CNN再助力！CoaT：Co-Scale卷积-注意力图像Transformer
阿木寺的博客
04-18 2903
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：AI人工智能初学者‍Co-Scale Conv-Attentional Image Transformers...
Attention(注意力机制代码)
07-16
Attention.zip文件中总结了几种关于注意力机制的代码，有keras和tensorflow，还有PyTorch框架的
交叉注意力融合2024创新方案汇总，附配套模块和代码
学姐带你玩AI的博客
01-31 9900
多模态学习和注意力机制是当前深度学习研究的热点领域之一，而交叉注意力融合作为这两个领域的结合点，具有很大的发展空间和创新机会。作为多模态融合的一个重要组成部分，交叉注意力融合通过注意力机制在不同模块之间建立联系，促进信息的交流和整合，从而提升了模型处理复杂任务的能力，展现出其在多模态学习和聚类分析等领域的强大优势。本文盘点，包含2024年最新的研究，这些模块的来源文章以及代码我都整理了，希望能给各位的论文添砖加瓦。论文和模块代码需要的同学看文末。
YOLOv5改进 | 注意力机制 | 十字交叉注意力机制CrissCrossAttention【含目标检测，语义分割等yaml文件】
kay_545
07-30 2805
yolov5，yolov5改进，CrissCrossAttention
图解cross attention
子燕若水的博客
01-09 2万+
交叉注意力与自我注意力。
人工智能|深度学习——多模态条件机制 Cross Attention 原理及实现
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
04-25 2万+
虽然之前写过 Attention 的文章，但现在回头看之前写的一些文章，感觉都好啰嗦，正好下一篇要写的 Stable Diffusion 中有 cross-attention，索性就再单拎出来简单说一下 Attention 吧，那么这篇文章的作用有两个：第一是为 Stable Diffusion 做补充，第二是为后续的 Vision Transformer 和 Swin Transformer 做铺垫。
从代码直观理解Self-Attention和Cross-Attention的本质区别
Hoper-J的博客
09-12 3002
从模型接受的输入去发现Self-attention和Cross-attention的区别
[论文阅读] Cross-layer feature pyramid network for salient object detection
xiongxyowo的博客
07-18 1840
论文地址：https://dx.doi.org/10.1109/TIP.2021.3072811 发表于：TIP 2021 I. Intro 这个网络是用来进行显著目标检测与伪装目标检测的，并且在这两个任务上均达到了SOTA 将Joint Training应用到了两个近乎相反的任务上 Global Contextual Information 深层特征图包含全局上下文信息，但是也牺牲了一定的空间分辨率与局部细节。那么这就有一个问题，如果全局上下文信息提取的不够准确的话，那么也会直接对后续refine的性
（CCNET）criss-cross attention network学习笔记
weixin_38787389的博客
11-09 636
（CCNET）criss-cross attention network学习笔记
+--------------------------------------+ | Minigpt-4 核心引擎 | | (负责模型推理与计算任务) | +--------------------------------------+ | +------------------+------------------+ | | +------------------+ +------------------+ | 输入处理模块 | | 输出处理模块 | | (文本预处理等) | | 生成响应等 | +------------------+ +------------------+ | | v v +-----------------------+ +-------------------------+ | 语言识别与翻译模块 | | 实时反馈与调优模块 | | (新增功能：多语言支持)| | (新增功能：反馈与调整) | +-----------------------+ +-----将上述内容生成具体的系统结构图
最新发布
04-26
### Minigpt-4 系统功能结构图设计 Minigpt-4 是一个多模态大语言模型框架，能够处理图像和文本的联合生成任务。根据提供的模块描述，可以将其划分为以下几个主要组成部分：核心引擎、输入处理模块、输出处理模块、语言识别与翻译模块以及实时反馈与调优模块。以下是针对这些模块的具体分析和系统功能结构图的设计方案。 --- #### 1. **核心引擎** 核心引擎是 Minigpt-4 的中枢部分，负责协调其他模块的工作并执行关键计算任务。该模块主要包括预训练的大规模参数化网络（如 LoRA 微调后的 LLM 部分[^2]），用于高效地融合视觉和语言信息。 --- #### 2. **输入处理模块** 输入处理模块的主要职责是对原始数据进行预处理，使其适配到核心引擎的要求。这一步骤可能包括但不限于： - 图像特征提取：通过卷积神经网络或其他方法获取图像的关键特征。 - 文本编码：将自然语言转换为向量表示以便后续操作。 这一过程确保了异构数据源的一致性和可解释性[^1]。 --- #### 3. **输出处理模块** 经过核心引擎加工之后的数据需要进一步转化为人类可读的形式。因此，输出处理模块承担着解码的任务，比如重新构造高质量图片或者流畅的文章段落等内容物。此外，在某些应用场景下还需要附加元数据分析以增强用户体验价值。 --- #### 4. **语言识别与翻译模块** 考虑到全球化背景下的广泛适用性需求，专门设立的语言识别与翻译机制显得尤为重要。它可以自动检测用户的母语种类，并据此提供相应版本的服务；同时支持跨文化交际中的即时互译服务等功能特性[^4]。 --- #### 5. **实时反馈与调优模块** 最后但同样重要的是建立一套完善的性能评估体系——即所谓的“闭环控制系统”。通过对实际运行效果持续监测收集错误样本加以修正优化权重配置等方式不断提升整体表现水平直至达到预期目标为止[^3]。 --- ### 功能结构图示例 下面是按照上述五个方面组织起来的一个简化版系统框图示意： ```plaintext Minigpt-4 System Architecture ├── Core Engine │ └── Pre-trained Parameters (LLM & Vision Models) │ └── Fusion Mechanism for Multi-modal Data Processing │ ├── Input Handling Module │ ├── Image Feature Extraction Unit │ └── Text Encoding Processor │ ├── Output Generation Component │ ├── Decoding Algorithm Implementation Area │ └── Post-processing Techniques Application Zone │ ├── Language Identification and Translation Service Block │ ├── Automatic Detection of User's Native Tongue Type Functionality Section │ └── Cross-cultural Communication Facilitation Toolset Provision Segment │ └── Real-time Feedback Loop Establishment Division ├── Error Sample Collection Repository Maintenance Branch Office └── Weight Adjustment Strategy Formulation Department ``` 以上只是一个高层次的概念性展示，具体实现细节可能会依据实际情况有所调整变化。 --- ### Python 脚本生成树形目录表示法 如果希望自动生成类似的树形结构表示，可以用以下 Python 脚本来完成： ```python def build_minigpt4_structure(): structure = { 'Minigpt-4 System': [ {'Core Engine': ['Pre-trained Parameters', 'Fusion Mechanism']}, {'Input Handling Module': ['Image Feature Extraction', 'Text Encoding']}, {'Output Generation Component': ['Decoding Algorithm', 'Post-processing Techniques']}, {'Language ID & Translation': ['Auto-detection', 'Cross-cultural Tools']}, {'Real-Time Feedback': ['Error Samples', 'Weight Adjustments']} ] } def print_tree(node, indent=''): if isinstance(node, dict): for key, value in node.items(): print(f"{indent}├── {key}") print_tree(value, indent + '│ ') elif isinstance(node, list): for item in node: print_tree(item, indent) print_tree(structure) build_minigpt4_structure() ``` 此脚本定义了一个嵌套字典列表结构来代表 Minigpt-4 的抽象模型，并打印出一个简洁明了的文本形式树状图。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值