YOLOv11改进 | Neck篇 | 2024最新TPAMI机制FreqFusion二次创新BiFPN（全网独家创新）

已于 2024-11-10 08:58:55 修改
阅读量3.5k 收藏 28
点赞数 15
CC 4.0 BY-SA版权
分类专栏： YOLOv11有效涨点专栏 文章标签： 人工智能 计算机视觉 深度学习 python YOLO 目标检测 YOLOv11
于 2024-11-10 02:21:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/143654212

一、本文介绍

本文给大家带来的改进机制是利用2024-TPAMI最新机制FreqFusion二次创新BiFPN，《Frequency-aware Feature Fusion for Dense Image Prediction》这篇文章的主要贡献是提出了一种新的特征融合方法（FreqFusion），旨在解决密集图像预测任务中的类别内不一致性和边界位移问题。本文将其和BiFPN进行结合实现二次创新BiFPN机制，相比于原始的YOLOv11本文的内容可以达到一定的轻量化，本文的内容在作者的多类别数据集上实现了涨点。

专栏回顾：YOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备

目录

一、本文介绍

二、原理介绍

三、核心代码

四、添加方法

4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四 

4.5 修改五

五、正式训练

5.1 yaml文件

5.2 训练代码 

5.3 训练过程截图 

五、本文总结

二、原理介绍

官方论文地址： 官方论文地址点击此处即可跳转

官方代码地址： 官方代码地址点击此处即可跳转

《Frequency-aware Feature Fusion for

了解本专栏 订阅专栏 解锁全文
YOLOv8改进 | Neck篇 | 2024-TPAMI最新机制FreqFusion二次创新BiFPN（全网独家创新）
Snu77的博客
10-13 2665
本文给大家带来的改进机制是利用2024-TPAMI最新机制FreqFusion二次创新BiFPN，《Frequency-aware Feature Fusion for Dense Image Prediction》这篇文章的主要贡献是提出了一种新的特征融合方法（FreqFusion），旨在解决密集图像预测任务中的类别内不一致性和边界位移问题。本文将其和BiFPN进行结合实现二次创新BiFPN机制，相比于原始的YOLOv8本文的内容可以达到一定的轻量化，本文的内容在作者的多类别数据集上实现了涨点。
YOLO26科研升级：BiFPN双向特征金字塔，让多尺度特征融合精度再突破
最新发布
LXY_LOVE36的博客
11-17 376
在目录下，新建AddModules文件夹，将bifpn.py放入其中。
BiFPN---加权双向特征金字塔网络（附代码）
PLANTTHESON的博客
09-26 2万+
BiFPN---加权双向特征金字塔网络（附代码）
【论文笔记】EfficientDet（BiFPN）（2020）
qq_38253797的博客
07-03 6万+
目录前言一、研究背景二、新型Neck结构：BiFPN三、EfficientDet的网络结构四、PyTorch实现 前言 论文地址： https://arxiv.org/abs/1911.09070. PyTorch实现： https://github.com/zylo117/Yet-Another-EfficientDet-Pytorch. 贡献： 提出一种全新的特征融合方法：重复加权双向特征金字塔网络 BiFPN ； 提出一种复合的缩放方法(EfficientNet方法)：统一缩放 分辨率、深度、宽度.
YOLOv5改进之BiFPN(含代码，超详细哦)
kay_545
10-05 2万+
BiFPN即“双向特征金字塔网络”，是一种常用于计算机视觉任务，特别是目标检测和实例分割的神经网络架构。它扩展了特征金字塔网络（FPN），通过在金字塔级别之间引入双向连接，使信息能够在网络中同时进行自底向上和自顶向下的流动。以下是BiFPN的工作原理概述：1. 特征金字塔生成：最初，网络通过从骨干网络（通常是ResNet等卷积神经网络）的多个层中提取特征来生成特征金字塔。2. 双向连接：与传统FPN不同，BiFPN在特征金字塔相邻级别之间引入了双向连接。
Frequency-aware Feature Fusion for Dense Image Prediction
通街是密人有的博客
11-11 2488
密集图像预测任务要求具有高分辨率的强类别信息和精确的空间边界细节特征。为了实现这一点，现代分层模型通常利用特征融合，直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中，我们观察到融合特征值在对象内的快速变化，由于高频特征的干扰导致类别内不一致。此外，融合特征中模糊的边界缺乏准确的高频，导致边界位移。基于这些观察结果，我们提出了频率感知特征融合（FreqFusion），集成了自适应低通滤波器（ALPF）生成器，偏移生成器和自适应高通滤波器（AHPF）生成器。
YOLOv11改进 | Neck篇 | 2024最新MFDS-DETR的HS-FPN改进yolov11特征融合层（全网独家首发）
Snu77的博客
11-10 3237
本文给大家带来的最新改进机制是最近这几天发布的改进机制MFDS-DETR提出的一种HS-FPN结构，其是一种为白细胞检测设计的网络结构，主要用于解决白细胞数据集中的多尺度挑战。特征选择模块和特征融合模块在本文的下面均会有讲解，这个结构是非常新颖的。其可以起到特征选择的作用，非常适合轻量化的读者来使用，其存在二次创新和多次创新的机会，在近期内我会对其进行更加轻量化和精度更高的二次创新，利用该结构参数量下降至197W，计算量降低至7.0GFLOPs，本文结构为我独家复现，全网目前无第二份大家可以抓紧使用。
YOLOv11改进有效涨点专栏目录 | 含卷积、主干、注意力机制、Neck、检测头、损失函数、二次创新C2PSA/C3k2等各种网络结构改进
热门推荐
Snu77的博客
11-05 7万+
Hello，各位读者们好.本文为最新YOLOv11有效涨点专栏目录，YOLOv11以及发布了一个月左右，这个过程中我也是给大家整理了许多的机制，其中包含了C3k2、主干（均支持根据yolov11训练的版本进行二次缩放，全系列都能轻量化）、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。
YOLOv8改进 | Neck篇 | 2024.1最新MFDS-DETR的HS-FPN改进特征融合层（降低100W参数，全网独家首发）
Snu77的博客
01-29 8044
本文给大家带来的改进机制是最近这几天最新发布的改进机制MFDS-DETR提出的一种HS-FPN结构，其是一种为白细胞检测设计的网络结构，主要用于解决白细胞数据集中的多尺度挑战。它的基本原理包括两个关键部分：特征选择模块和特征融合模块在本文的下面均会有讲解，这个结构是非常新颖的，代码仅仅更新了三天。其可以起到特征选择的作用，非常适合轻量化的读者来使用，其存在二次创新和多次创新的机会，在近期内我会对其进行更加轻量化和精度更高的二次创新，
Frequency-aware Feature Fusion for Dense Image Prediction 论文阅读
weixin_51657614的博客
10-01 1090
为了实现这一点，现代分层模型通常利用特征融合，直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中，我们观察到融合特征值在对象内的快速变化，由于高频特征的干扰导致类别内不一致。此外，融合特征中模糊的边界缺乏准确的高频，导致边界位移。ALPF生成器预测空间变化的低通滤波器，以衰减对象内的高频组件，减少上采样期间的类内不一致。偏移量发生器通过重采样将不一致的特征替换为更一致的特征来细化大的不一致特征和细边界，而AHPF发生器增强了下采样过程中丢失的高频详细边界信息。
【论文笔记-TPAMI 2024】FreqFusion：用于密集图像预测的频率感知特征融合
qq_43456016的博客
02-26 1920
密集图像预测任务要求具有强类别信息和高分辨率精确空间边界细节的特征。为了实现这一点，现代分层模型通常利用特征融合，直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中，我们观察到融合特征值在对象内的快速变化，由于高频特征的干扰导致类别内不一致。此外，融合特征中模糊的边界缺乏准确的高频，导致边界位移。基于这些观察结果，我们提出了频率感知特征融合（FreqFusion），集成了自适应低通滤波器（ALPF）发生器，偏移发生器和自适应高通滤波器（AHPF）发生器。ALPF生成器预测空间变化的低通滤波
顶刊TPAMI 2024！北理等提出FreqFusion，让CVPR投稿轻松涨点
Paper weekly
09-17 5148
©PaperWeekly 原创 ·作者 |知凡单位 |北京理工大学研究方向 |图像检测分割大家是不是埋头准备 CVPR 2025 的投稿苦于涨点困难？快来看看热气腾腾的新鲜TPAMI 2024 论文：论文标题：Frequency-aware Feature Fusion for Dense Image Prediction论文链接：https://www.arxiv.org/abs/24...
【TPAMI 2024】即插即用的FreqFusion特征融合模块
Angelina_Jolie的博客
10-28 5962
本文主要讨论了在计算机视觉领域中，特别是在（如语义分割、对象检测、实例分割和全景分割）中的一个新方法——。是一种用于改善计算机视觉任务中特征融合性能的方法。它通过适应性地平滑高级特征，使用空间变化的低通滤波器，并通过重采样附近类别一致的特征来替换高级特征中的不一致特征，从而解决了类别不一致和边界位移的问题。此外，还增强了低级特征的高频边界细节，以提高特征的高频功率并锐化边界。具有非常干净，用法简单的代码，FreqFusion 通过的频率特性，能够提高低分辨率和高分辨率特征的。
BiFPN
qq_42057562的博客
07-06 3万+
FPN特征提取 BiFPN加强特征提取 BiFPN是在FPN的基础上对其进行改进，对原始的FPN模块又添加了添加上下文信息的边，并对每个边乘以一个相应的权重。 代码实现 获得P3_in、P4_in、P5_in、P6_in、P7_in 进行特征融合 进行前向传播 ...
EfficientDet(BiFPN)（CVPR 2020）原理与代码解析
00000cj的博客
04-13 1万+
本文受EfficientNet的启发，提出了一种用于目标检测模型的复合尺度变换方法，不仅可以同时对分辨率、网络深度、网络宽度三个维度进行统一缩放，而且可以对目标检测模型中的骨干网络、特征网络、分类/回归预测网络中的上述三个维度进行统一缩放。 此外，本文还提出了一种新的加权双向特征金字塔网络（bi-directional feature pyramid network，BiFPN），可以简单快速地进行多尺度特征融合。 基于上述两点，并入引入更好的backbone即EfficientNet，作者提出了一个
BiFPN，one-stage，two-stage
m0_56175815的博客
06-11 4363
BiFPN，one-stage，two-stage
【YOLOv8创新升级1】：特征金字塔网络 BiFPN与YOLOv8相结合 （代码实现）
qq_42322398的博客
11-01 7226
Bi-directional Feature Pyramid Network（BIFPN）是一种用于多尺度目标检测的高效特征金字塔网络架构。BIFPN通过引入双向特征融合机制，增强了不同层次特征之间的信息交流，显著提高了网络对多尺度物体的识别能力。该架构利用底向上的路径传递高分辨率特征，同时通过顶向下的路径增强低分辨率特征，从而实现高效的信息融合。BIFPN的设计不仅提高了特征的表达能力，还减少了计算成本和模型复杂度。
BIFPN(我们的缩放effentdet以更少的参数和FLOPs实现了最先进的精度。)
m0_59049984的博客
09-14 1665
特别是，在单一模型和单一测试时间尺度下，我们的EfficientDet-D7以77M参数和410B FLOPs实现了最先进的55.1 AP，比以前最好的检测器[45]高出4 AP，而体积小2.7倍，FLOPs减少7.4倍。:为了获得更好的精度，通常通过使用更大的骨干网络(例如，从移动大小的模型[38,16]和ResNet[14]，到ResNeXt[41]和AmoebaNet[32])来扩展基线检测器，或者增加输入图像大小(例如，从512x512[24]到1536x1536[45])。O = pi wi?
YOLOv5改进 | 添加ECA注意力机制 + 更换主干网络之ShuffleNetV2
12-28
### 集成ECA注意力机制 为了在YOLOv5中集成ECA(Enhanced Channel Attention) 注意力机制，需先理解该机制的工作原理。ECA通过自适应调整通道间的依赖关系来增强特征表达能力[^2]。 具体实现方法如下： ```python import torch.nn as nn class ECA(nn.Module): """Constructs a ECA module. Args: channel: Number of channels of the input feature map k_size: Adaptive selection of kernel size """ def __init__(channel, k_size=3): super(ECA, this).__init__() this.avg_pool = nn.AdaptiveAvgPool2d(1) this.conv = nn.Conv1d(1, 1, kernel_size=k_size, padding=(k_size - 1) // 2, bias=False) this.sigmoid = nn.Sigmoid() def forward(x): # Feature Descriptor on the global spatial information y = this.avg_pool(x) # Two different branches of ECA module y = this.conv(y.squeeze(-1).transpose(-1, -2)).transpose(-1, -2).unsqueeze(-1) # Multi-scale information fusion y = this.sigmoid(y) return x * y.expand_as(x) ``` 此代码定义了一个简单的ECA层，在实际应用时应将其嵌入到YOLOv5的各个阶段中去。 ### 更换主干网络为ShuffleNetV2 对于替换YOLOv5中的默认主干网至ShuffleNetV2的操作，则涉及到模型架构层面的重大改动。ShuffleNetV2因其高效的计算性能而被广泛应用于移动设备端的任务处理中[^1]。 以下是简化版的ShuffleNetV2结构导入方式： ```python from torchvision.models import shufflenet_v2_x0_5 def replace_backbone(model): backbone = shufflenet_v2_x0_5(pretrained=True) model.model[0] = backbone.features # Adjusting output dimensions to match with YOLOv5's neck part requirements in_channels = backbone.out_channels out_channels = ... # Define according to your needs or original settings model.model[1] = Conv(in_channels=in_channels, out_channels=out_channels, ...) return model ``` 这段脚本展示了如何利用预训练过的`shufflenet_v2_x0_5`作为新的骨干提取器，并相应调整后续组件以保持整个检测框架的一致性和兼容性。
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值