【YOLOv10改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）

已于 2024-07-20 10:46:31 修改
阅读量1.2k 收藏 2
点赞数 4
CC 4.0 BY-SA版权
分类专栏： YOLOv10 创新改进 文章标签： 目标检测 YOLO 数据挖掘 yolov10
于 2024-07-05 09:56:30 首次发布
原创文章，禁止任何形式转载！
本文链接：https://blog.youkuaiyun.com/shangyanaf/article/details/140200016

YOLOv10目标检测创新改进与实战案例专栏

改进目录: YOLOv10有效改进系列及项目实战目录：卷积，主干 注意力，检测头等创新机制

专栏链接: YOLOv10 创新改进有效涨点

介绍

摘要

我们介绍了BoTNet，这是一个概念简单但功能强大的骨干架构，将自注意力引入多个计算机视觉任务，包括图像分类、物体检测和实例分割。通过仅在ResNet的最后三个瓶颈块中用全局自注意力替换空间卷积，而不进行其他更改，我们的方法在实例分割和物体检测任务上显著提升了基线性能，同时减少了参数，延迟方面的开销也极小。通过设计BoTNet，我们还指出了带自注意力的ResNet瓶颈块可以视为Transformer块。在不增添任何复杂元素的情况下，BoTNet在COCO实例分割基准上使用Mask R-CNN框架实现了44.4%的Mask AP和49.7%的Box AP，超过了以前在COCO验证集上评估的ResNeSt [67]单模型和单尺度结果的最佳水平。最后，我们展示了将BoTNet设计简单地适应图像分类的方法，结果显示模型在ImageNet基准上达到了84.7%的top-1准确率，而在TPU-v3硬件上的“计算”时间比流行的EfficientNet模型快高达1.64倍。我们希望我们简单而有效的方法能成为未来视觉自注意力模型研究的强有力基准。

文章链接

论文地址：论文地址

**代码地址：**代码地址

基本原理

多头自注意力（Multi-Head Self-Attention）是一种在神经网络，尤其是Transformer架构中常用的机制，它在自然语言处理、计算机视觉等领域取得了显著的效果。多头自注意力的核心思想是通过多个注意力头（attention heads）来捕捉输入数据中不同部分之间的关系，从而提升模型的表示能力。

自注意力机制（Self-Attention）

在解释多头自注意力之前，先了解自注意力机制。自注意力机制的主要步骤如下：

  1. 输入向量：假设输入是一组向量，表示为 X = [ x 1 , x 2 , . . . , x n ] \mathbf{X} = [x_1, x_2, ..., x_n] X=[

了解本专栏 订阅专栏 解锁全文
注意力机制篇 | YOLOv8改进之在C2f模块添加EMA注意力机制（附2种改进方法）
突然好想你
03-29 3550
EMA（Exponential Moving Average）注意力机制是一种用于增强模型性能的注意力机制，它通过对模型的特征图进行加权平均来提取更有用的特征信息。具体来说，EMA注意力机制通过引入一个权重因子来调整特征图中每个位置的重要性，从而使模型能够更好地关注重要的特征。🌈
【YOLOv8改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-01 2011
我们介绍了BoTNet，这是一个概念简单但功能强大的骨干架构，将自注意力引入多个计算机视觉任务，包括图像分类、物体检测和实例分割。通过仅在ResNet的最后三个瓶颈块中用全局自注意力替换空间卷积，而不进行其他更改，我们的方法在实例分割和物体检测任务上显著提升了基线性能，同时减少了参数，延迟方面的开销也极小。通过设计BoTNet，我们还指出了带自注意力的ResNet瓶颈块可以视为Transformer块。
多头自注意力机制（MHSA）的工作原理与应用
m0_72410588的博客
07-11 1万+
MHSA是一种基于自注意力机制的深度学习模型，最早是由Vaswani等人在2017年提出的。它在处理输入序列时能够自动捕捉序列之间的依赖关系，从而更好地理解上下文信息并提高模型性能。
YOLOv8改进 | 注意力机制 | 在主干网络中添加MHSA模块【原理+附完整代码】
kay_545
06-12 2136
YOLOv8，yolov8改进，多头注意力机制
多头自注意力机制详解
步子哥的博客
07-24 2414
多头自注意力机制是Transformer模型的核心组件,也是众多先进大语言模型架构的基础。它允许模型在不同的表示子空间中并行地关注输入序列的不同部分,从而增强了模型的表达能力和泛化能力。MHSA可以应用于各种类型的数据,但通常期望输入是一个向量序列,其中每个向量代表某种信息。以自然语言处理为例,输入通常是经过词向量嵌入和位置编码处理后的单词表示。这个序列包含3个词,每个词由4维向量表示。MHSA的核心在于学习三个权重矩阵,用于构造"查询"(Query)、“键”(Key)和"值"(Value)。
YOLOv8改进 - 注意力篇 - 引入SEAttention注意力机制
浪子L的博客
10-03 5081
以上就是SEAttention的原理及使用方式，但具体SEAttention注意力机制的具体位置放哪里，效果更好。需要根据不同的数据集做相应的实验验证。希望本文能够帮助你入门YOLO中注意力机制的使用。
【YOLOv11改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）
2401_85597258的博客
11-07 1038
【YOLOv11改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）
【YOLOv10改进-注意力机制】STA(Super Token Attention) 超级令牌注意力机制
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-08 342
视觉Transformer在许多视觉任务上展示了卓越的性能。然而，它在浅层捕获局部特征时可能会面临高度冗余的问题。因此，使用了局部自注意力或早期阶段的卷积来减少这种冗余，但这牺牲了捕获长距离依赖的能力。一个挑战随之而来：在神经网络的早期阶段，我们是否能高效且有效地进行全局上下文建模？为解决这一问题，我们从超像素的设计中获得启示，这种设计通过减少图像基元的数量来简化后续处理，并在视觉Transformer中引入了超级令牌。
pytorch代码实现注意力机制之MHSA
DM_zx的博客
09-07 2672
注意力机制之MHSA
深入理解Transformer，兼谈MHSA（多头自注意力）、Cross-Attention（交叉注意力）、LayerNorm、FFN、位置编码
热门推荐
DEDSEC_Roger的博客
11-27 1万+
【代码】深入理解Transformer，兼谈MHSA（多头自注意力）、Cross-Attention（交叉注意力）、LayerNorm、FFN、位置编码。
多头自注意力机制详解:手把手计算现代AI的基石
步子哥的博客
07-23 1152
MHSA可以应用于各种类型的数据,但通常情况下,输入是一个向量序列。在自然语言处理中,这通常是词嵌入(word embedding)与位置编码(positional encoding)的组合。Input = [这个4x3的矩阵代表了我们的输入序列。MHSA主要学习三个权重矩阵,用于构造"查询"(Query)、“键”(Key)和"值"(Value)。W_Q = [[0.7, 0.8]W_K = [[0.7, 0.8]W_V = [[0.7, 0.8]这些4x2的矩阵代表了模型的可学习参数。
YOLOv8/YOLOv7/YOLOv5/YOLOv4/Faster-rcnn系列算法改进【NO.67】添加注意力机制MHSA
m0_70388905的博客
04-19 2351
添加注意力机制MHSA
【YOLOv8改进 - 注意力机制】SKAttention：聚合分支信息，实现自适应调整感受野大小
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
06-30 531
在标准卷积神经网络（CNNs）中，每一层的人工神经元的感受野大小被设计为相同。然而，神经科学界已知视觉皮层神经元的感受野大小会受到刺激的调节，这一点在构建CNN时很少被考虑。我们提出了一种动态选择机制，使每个神经元能够基于多尺度的输入信息自适应地调整其感受野大小。我们设计了一个称为选择性卷积（Selective Kernel，SK）单元的构建块，在该单元中，具有不同卷积核大小的多个分支通过受这些分支信息引导的softmax注意力融合。在融合层中，这些分支上的不同注意力产生了神经元的不同有效感受野大小。
YOLOv10改进 | 注意力机制 | 添加ACmix自注意力与卷积混合模型改善模型特征识别效率（包含二次创新PSA机制）
Snu77的博客
07-11 717
本文给大家带来的改进机制是ACmix自注意力机制的改进版本，它的核心思想是，传统卷积操作和自注意力模块的大部分计算都可以通过1x1的卷积来实现。ACmix首先使用1x1卷积对输入特征图进行投影，生成一组中间特征，然后根据不同的范式，即自注意力和卷积方式，分别重用和聚合这些中间特征。这样，ACmix既能利用自注意力的全局感知能力，又能通过卷积捕获局部特征，从而在保持较低计算成本的同时，提高模型的性能。本文包含二次创新PSA机制！YOLOv10改进系列专栏——本专栏持续复习各种顶会内容——科研必备目录。
YOLOv8改进 | 注意力机制| 对小目标友好的BiFormer【CVPR2023】
kay_545
07-11 3292
yolov8，yolov8改进，Biformer
【YOLOv8改进】MCA：用于图像识别的深度卷积神经网络中的多维协作注意力
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
02-21 7943
先前的大量研究表明，注意力机制在提高深度卷积神经网络（CNN）的性能方面具有巨大潜力。然而，大多数现有方法要么忽略通道和空间维度的建模注意力，要么引入更高的模型复杂性和更重的计算负担。为了缓解这种困境，在本文中，我们提出了一种轻量级且高效的多维协作注意力（MCA），这是一种通过使用三分支架构同时推断通道、高度和宽度维度注意力的新方法，几乎没有额外的开销。对于MCA的基本组成部分，我们不仅开发了一种自适应组合机制，用于合并挤压变换中的双跨维度特征响应，增强特征描述符的信息性和可辨别性，而且还设计了激励变换中的
YOLOv8 改进：添加 MHSA 注意力机制并与 C2f 结构融合
最新发布
走向CTO的路上...
04-14 935
YOLO（You Only Look Once）是一个实时目标检测算法，它能在单次推理过程中预测多个边界框和类别概率。YOLO 系列以其高速和高准确性而著称。return outnn.ReLU(),return xreturn outnn.ReLU(),return x通过将 MHSA 注意力机制与 YOLOv8 中的 C2f 结构相结合，我们显著提升了目标检测的性能。这一改进不仅提高了模型的精度，还为复杂环境下的实时应用提供了有效解决方案。
【YOLOv8改进 - 注意力机制】NAM：基于归一化的注意力模块，将权重稀疏惩罚应用于注意力机制中，提高效率性能
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
06-30 639
识别较不显著的特征是模型压缩的关键。然而，这在革命性的注意力机制中尚未被研究。在这项工作中，我们提出了一种新颖的基于归一化的注意力模块（NAM），该模块抑制了较不显著的权重。它对注意力模块施加了权重稀疏惩罚，从而使其在保留相似性能的同时变得更具计算效率。在Resnet和Mobilenet上与其他三种注意力机制的比较表明，我们的方法可以带来更高的准确性。本文的代码可以在https://github.com/Christian-lyc/NAM公开获取。
多头注意力机制MHSA
03-25
### 多头注意力机制（Multi-Head Self-Attention Mechanism） 多头自注意力机制是一种用于处理序列数据的核心技术，广泛应用于自然语言处理领域以及计算机视觉中的模型架构中[^1]。它通过并行计算多个独立的注意力机制来捕获输入序列的不同子空间特征。 #### 工作原理 多头注意力机制基于标准的注意力机制扩展而来。其核心思想是将输入向量映射到不同的线性变换空间中，在这些空间中分别执行注意力操作后再拼接起来形成最终输出。具体来说： 1. 输入张量被分为三个部分：查询（Query）、键（Key）和值（Value）。这三个矩阵由原始输入经过不同权重矩阵相乘得到。 \[ Q = XW_Q,\ K = XW_K,\ V = XW_V \] 这里 \(X\) 是输入张量，\(W_Q\), \(W_K\), 和 \(W_V\) 则分别是对应的可学习参数矩阵。 2. 对于每一个头部 (head)，单独计算注意力分数并通过 softmax 函数规范化得分： \[ Attention(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d_k}})V \] 其中 \(d_k\) 表示 Key 的维度大小，用来缩放点积防止梯度消失或爆炸问题。 3. 将所有头的结果连接在一起，并再次应用一个投影层以获得最后的输出表示形式。 以下是 Python 实现的一个简单例子: ```python import torch import torch.nn as nn class MultiHeadSelfAttention(nn.Module): def __init__(self, d_model, num_heads): super(MultiHeadSelfAttention, self).__init__() assert d_model % num_heads == 0 self.d_model = d_model self.num_heads = num_heads self.depth = d_model // num_heads self.wq = nn.Linear(d_model, d_model) self.wk = nn.Linear(d_model, d_model) self.wv = nn.Linear(d_model, d_model) self.dense = nn.Linear(d_model, d_model) def split_heads(self, x, batch_size): """Split the last dimension into (num_heads, depth).""" x = x.view(batch_size, -1, self.num_heads, self.depth) return x.permute(0, 2, 1, 3) # (batch_size, num_heads, seq_len, depth) def forward(self, v, k, q, mask=None): batch_size = q.size(0) q = self.wq(q) k = self.wk(k) v = self.wv(v) q = self.split_heads(q, batch_size) k = self.split_heads(k, batch_size) v = self.split_heads(v, batch_size) scaled_attention, attention_weights = self.scaled_dot_product_attention( q, k, v, mask=mask) scaled_attention = scaled_attention.permute(0, 2, 1, 3).contiguous() concat_attention = scaled_attention.view(batch_size, -1, self.d_model) output = self.dense(concat_attention) return output, attention_weights @staticmethod def scaled_dot_product_attention(q, k, v, mask=None): matmul_qk = torch.matmul(q, k.transpose(-2, -1)) dk = k.shape[-1] scaled_attention_logits = matmul_qk / torch.sqrt(torch.tensor(dk, dtype=torch.float32)) if mask is not None: scaled_attention_logits += (mask * -1e9) attention_weights = torch.softmax(scaled_attention_logits, dim=-1) outputs = torch.matmul(attention_weights, v) return outputs, attention_weights ``` 上述代码定义了一个 `MultiHeadSelfAttention` 类，其中包含了分割头的操作、点积注意力函数及其后续处理过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YOLO大师

你的打赏，我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值