GhostNetv2家族大战：华为GhostNetv2，端侧小模型性能新纪录——NeurIPS Spotlight计算机视觉

最新推荐文章于 2025-03-01 17:18:43 发布
最新推荐文章于 2025-03-01 17:18:43 发布
阅读量176 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 计算机视觉 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/IlgCrystal/article/details/133029071
华为GhostNetv2是NeurIPS Spotlight的热门话题，作为GhostNet系列最新模型，它在资源有限的端侧设备上表现出卓越性能。GhostNetv2采用轻量化设计和Ghost模块，降低参数量，提升运算效率。模型结构包含Ghost模块和激活函数，实现高效运行。

华为GhostNetv2是一款新一代的计算机视觉模型，它在端侧设备上展现出了出色的性能表现，成为了NeurIPS Spotlight计算机视觉领域的热门研究。本文将详细介绍GhostNetv2的特点，并提供相应的源代码供参考。

GhostNetv2是GhostNet系列的最新成员，它采用了轻量级的架构设计，并在端侧设备上取得了令人瞩目的性能。GhostNetv2在模型参数量和计算复杂度上进行了优化，使得它能够在资源受限的设备上快速高效地运行。

下面是GhostNetv2的源代码示例：

import torch
import torch.nn as nn
import torch.nn.functional as F

class GhostModule(
了解本专栏 订阅专栏 解锁全文
【YOLOv8改进】 YOLOv8 更换骨干网络之GhostNetV2 长距离注意力机制增强廉价操作，构建更强端侧轻量型骨干 (论文笔记+引入代码)
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
02-19 7044
轻量级卷积神经网络（CNNs）专为移动设备上的应用而设计，具有更快的推理速度。卷积操作只能捕获窗口区域内的局部信息，这限制了性能的进一步提升。将自注意力引入到卷积中可以很好地捕获全局信息，但这将大大增加实际速度的负担。在本文中，我们提出了一种硬件友好的注意力机制（称为DFC注意力），然后为移动应用呈现了一个新的GhostNetV2架构。所提出的DFC注意力基于全连接层构建，不仅可以在常见硬件上快速执行，还能捕获长距离像素之间的依赖关系。
YOLOv10轻量化改进：Ghostnet、G_ghost、Ghostnetv2家族大作战（二）：华为Ghostnetv2，端侧小模型性能新SOTA | NeurIPS22 Spotlight
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
06-04 633
华为Ghostnetv2，端侧小模型性能新SOTA
轻量级网络CNN系列（二）：GhostNetV2
梦坠凡尘
06-29 3158
而在 DFC 中，每个 patch 的注意力值的计算直接与它水平或垂直位置的 patch 有关，而这些水平或垂直位置的 patch 的计算又与它们水平或垂直位置的 patch 有关。DW卷积的一个卷积核负责一个通道，例如对一个3×5×5的图片，输出通道数要与输入通道数相同，则普通卷积操作需要3×3×3×3的卷积核，但DW卷积操作只需要3×3×3的卷积核。PW卷积相反，是一个1×1×C的卷积核，对每个通道的相同位置进行加权和，C为输入特征图的通道数，若输出通道数为5，则卷积核shape为C×1×1×5。
通俗易懂理解GhostNetV2轻量级神经网络模型
IT菜鸟
02-24 6621
通俗易懂理解GhostNetV2网络模型
GhostNetV2（2022）（全文翻译）
m0_60534571的博客
03-18 2450
轻量级卷积神经网络 (CNN) 专为推理速度更快的移动设备上的应用而设计。卷积运算只能捕获窗口区域的局部信息，这阻碍了性能的进一步提高。将self-attention引入卷积可以很好地捕捉全局信息，但会在很大程度上阻碍实际速度。在本文中，我们提出了一种硬件友好的注意力机制（称为 DFC 注意力），然后提出了一种用于移动应用程序的新 GhostNetV2 架构。所提出的DFC 注意力是基于全连接层构建的，它不仅可以在普通硬件上快速执行，还可以捕获远程像素之间的依赖关系。
GhostNet v2（NeurIPS 2022 Spotlight）原理与代码解析
热门推荐
00000cj的博客
02-12 1万+
首先回顾下GhostNet，对于输入 \(X\in \mathbb{R}^{H\times W\times C}\)，Ghost module将一个标准的卷积替换成两步。首先用一个1x1卷积生成intrinsic feature。
YOLOv12涨点优化：轻量化改进 | Ghostnet、G_ghost、Ghostnetv2家族大作战（二）：华为Ghostnetv2，端侧小模型性能新SOTA | NeurIPS22
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
03-01 282
华为Ghostnetv2，端侧小模型性能新SOTA
YOLOv10改进：轻量化改进 | 华为Ghostnetv2，端侧小模型性能新SOTA | NeurIPS22 Spotlight
会AI的学姐
07-02 376
GhostNetV2 是 GhostNet 的增强版本，GhostBottleneckV2与YOLOV10建立轻量C2f_GhostBottleneckV2
YOLOv5改进实战 | 更换主干网络Backbone（二）之轻量化网络GhostnetV2，引入长距离注意力机制，构建更强端侧轻量型骨干，代码公开！
w94ghz的博客
10-14 3013
深度学习论文: GhostNetV2: Enhance Cheap Operation with Long-Range Attention及其PyTorch实现
mingo_敏
12-07 728
在本文中，作者提出了一种适用于硬件的注意力机制（称为DFC注意力），并提出了一种适用于移动应用的全新GhostNetV2架构。所提出的DFC注意力是基于全连接层构建的，它不仅可以在常见硬件上快速执行，还能够捕捉长距离像素之间的依赖关系。作者进一步重新审视了先前GhostNet中的表达能力瓶颈，并提出了使用DFC注意力增强廉价操作产生的扩展特征，从而使GhostNetV2块可以同时聚合局部和长距离信息。
GoogLeNet V2 pytorch代码
04-12
GoogLeNet V2 pytorch代码
GhostNetV2 Enhance Cheap Operation with Long-Range Attention 论文学习
calvinpaean的博客
05-07 1297
实际上，CNN 的特征图通常是 low-rank 的，并不需要将不同空间位置的所有的输入和输出 tokens 都密集地连接起来。在 DFC 注意力中，一个区域只和它水平和垂直方向的区域做直接的融合，而其它区域只参与受关注 token 的水平和垂直方向的区域的生成，它们与受关注 token 只有间接的关联。对于相同的输入，Ghost 模块和 DFC 注意力是两个平行的分支，从不同的角度提取信息。因此，作者通过水平和垂直方向的下采样来降低特征图尺寸，这样 DFC 注意力的所有操作都可以在更小的特征上进行。
GhostNetV2学习笔记
charles_zhang_的博客
11-21 7031
轻量级卷积神经网络(CNNs)是专为在移动设备上具有较快推理速度的应用而设计的。卷积运算只能捕获窗口区域的局部信息，这阻碍了性能的进一步提高。在卷积中引入自我注意可以很好地捕获全局信息，但会极大地影响卷积的实际速度。在本文中，我们提出了一种硬件友好的注意机制(称为DFC注意)，然后提出了一种新的移动应用的GhostNetV2架构。所提出的DFC注意结构基于全连接层，既能在普通硬件上快速执行，又能捕获远距离像素间的依赖关系。
GhostNetV2系列：融合YOLOv5和NIPS2022华为诺亚的GhostNetV，实现强化廉价操作的长距离注意力机制，构建高效轻量级检测器
UksApps的博客
09-20 719
综上所述，GhostNetV2系列是一种结合了YOLOv5和GhostNetV的检测器架构，引入了长距离注意力机制和廉价操作增强，旨在构建高效轻量级的目标检测器。通过实现上述提到的GhostNetV2网络和GhostModule模块，我们可以在计算机视觉任务中应用这一创新的检测器架构，以提升检测性能并减少计算资源的消耗。GhostNetV2系列的核心思想是结合YOLOv5和NIPS2022华为诺亚的GhostNetV，引入长距离注意力机制以增强廉价操作，并构建高效轻量级的检测器。
YOLOv8主干网络升级篇：使用GhostNetV2增强模型性能
带你成为别人眼中的大佬！
06-02 1888
通过使用GhostModule（一种特殊的卷积模块）和GhostBottleneckBlock（一种轻量级的残差块），GhostNetV2可以减少网络参数，节约存储空间，并在保持高准确率的同时实现快速推理。最终，我们将GhostNetV2主干网络嵌入到YOLOv8中，并进行训练和测试，在COCO数据集上达到了比DarkNet53更好的性能表现，同时计算成本也得到了明显降低。综上所述，本篇文章介绍了如何在YOLOv8中使用GhostNetV2主干网络，以进一步提升目标检测模型的性能。
GhostNetV2：运用长距离注意力提升低成本计算的改进——骨干网络替换之路
IlgCrystal的博客
09-17 745
GhostNetV2是基于GhostNet模型的一种改进版本。GhostNet最初由Hui et al.于2020年提出，以其高效轻量的特点在目标检测任务中取得了较好的性能。GhostNetV2在此基础上进一步增强了低成本运算的能力，通过引入长距离注意力机制，提升了模型的感受野并降低了计算复杂度。GhostNetV2的核心思想是在骨干网络中引入Ghost Module和Long-Range Attention（LRA）模块。
改进YOLO——更换骨干网络GhostNetV2
2302_80099075的博客
10-03 1986
基于大佬迪菲赫尔曼的专栏文章进行实操时，感觉文章写的并不是很清楚，部分步骤写的不太详细，对于新手小白不太友好。这里写下详细版的步骤。
“GhostNetV2系列：新型长距离注意力机制与廉价操作构建高效轻量级检测器“
带你成为别人眼中的大佬！
05-27 443
其使用廉价操作和引入长距离注意力机制来增强骨干网络的能力，并减少了模型的大小和计算量，使得GhostNetV2成为一个具有实际应用价值的轻量级检测器。本文将介绍GhostNetV2系列的轻量化骨干网络，在保证高精度的同时降低模型大小和计算量。GhostNetV2引入了新型长距离注意力机制，增强了轻量级骨干网络的能力，并且采用廉价操作来弥补轻量化过程中的精度损失。其中，目标检测是计算机视觉中一大重要课题，因此采用高效轻量级骨干网络对目标检测模型进行加速和压缩是很有必要的。
GhostNet V2家族大放异彩：华为GhostNet，超越谷歌MobileNet的CVPR2020计算机视觉技术
LmtTransforms的博客
09-20 494
Ghost模块的设计：GhostNet V2中的Ghost模块由两个关键操作组成：Ghost Module和Ghost Bottleneck。该模型是华为公司基于GhostNet的第二代版本，通过引入一系列改进和优化，实现了在图像分类任务中超越了谷歌的MobileNet模型。GhostNet V2的网络结构：GhostNet V2具有高度可扩展的网络结构，可以根据任务的复杂程度进行调整。Ghost模块：GhostNet V2采用了Ghost模块，这是一种轻量级的特征提取模块。
ghostnetV2
最新发布
03-16
### GhostNetV2 架构与实现细节 GhostNetV2 是一种基于轻量化操作的神经网络模型，旨在通过引入长距离注意力机制来增强廉价运算的效果[^1]。以下是有关其架构和实现的关键点： #### 1. 长距离注意力机制 GhostNetV2 的核心改进在于加入了长距离注意力（Long-Range Attention），这使得模型能够在保持低计算成本的同时捕获更广泛的特征依赖关系。具体来说，这种注意力机制允许局部感受野扩展到全局范围，从而提升模型的表现能力。 #### 2. 特征生成模块 GhostNetV2 继承了原始 GhostNet 中高效的特征生成方法，即利用 cheap operation 来模拟复杂卷积的操作效果。cheap operation 主要通过线性变换和非线性激活函数组合而成，显著降低了参数量和计算开销。 #### 3. 模型结构优化 为了进一步提高效率并减少冗余计算，GhostNetV2 对整体网络拓扑进行了重新设计。它采用了更深但更窄的网络配置，并结合动态通道裁剪技术，在不同硬件平台上灵活调整资源分配策略。这种方法不仅提升了推理速度，还减少了存储需求。 #### 4. 实现中的注意事项 当实际部署 GhostNetV2 时，需特别关注以下几个方面： - **硬件适配**：由于该模型专为移动设备和其他嵌入式平台而开发，因此必须考虑目标设备的具体约束条件，比如内存大小、算力水平等。 - **训练技巧**：采用混合精度训练可以有效降低显存消耗；同时配合知识蒸馏(Knowledge Distillation)，有助于将大型预训练模型的知识迁移到小型化的学生模型上。 ```python import torch.nn as nn class GhostModule(nn.Module): def __init__(self, inp, oup, kernel_size=1, ratio=2, dw_size=3, stride=1, relu=True): super(GhostModule, self).__init__() init_channels = int(oup / ratio) new_channels = init_channels*(ratio-1) self.primary_conv = nn.Sequential( nn.Conv2d(inp, init_channels, kernel_size, stride, kernel_size//2, bias=False), nn.BatchNorm2d(init_channels), nn.ReLU(inplace=True) if relu else nn.Identity(), ) self.cheap_operation = nn.Sequential( nn.Conv2d(init_channels, new_channels, dw_size, 1, dw_size//2, groups=init_channels, bias=False), nn.BatchNorm2d(new_channels), nn.ReLU(inplace=True) if relu else nn.Identity(), ) def forward(self, x): x1 = self.primary_conv(x) x2 = self.cheap_operation(x1) out = torch.cat([x1,x2], dim=1) return out[:, :self.oup, :, :] ``` 上述代码片段展示了如何构建一个基本的 Ghost Module，这是构成整个 GhostNetV2 的基础组件之一。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值