YOLOv11改进 | Neck篇 | 2024最新TPAMI机制FreqFusion二次创新BiFPN（全网独家创新）

已于 2024-11-10 08:58:55 修改
阅读量2.7k 收藏 25
点赞数 13
分类专栏： YOLOv11有效涨点专栏 文章标签： 人工智能 计算机视觉 深度学习 python YOLO 目标检测 YOLOv11
于 2024-11-10 02:21:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/143654212
版权

一、本文介绍

本文给大家带来的改进机制是利用2024-TPAMI最新机制FreqFusion二次创新BiFPN，《Frequency-aware Feature Fusion for Dense Image Prediction》这篇文章的主要贡献是提出了一种新的特征融合方法（FreqFusion），旨在解决密集图像预测任务中的类别内不一致性和边界位移问题。本文将其和BiFPN进行结合实现二次创新BiFPN机制，相比于原始的YOLOv11本文的内容可以达到一定的轻量化，本文的内容在作者的多类别数据集上实现了涨点。

专栏回顾：YOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备

目录

一、本文介绍

二、原理介绍

三、核心代码

四、添加方法

4.1 修改一

4.2 修改二 

4.3 修改三 

了解本专栏 订阅专栏 解锁全文
Frequency-aware Feature Fusion for Dense Image Prediction
EmoC的博客
10-09 489
nc 设置成啥都行，反正后面训练时会不一样。这里是根据已有的conf file修改的。
YOLOv8改进 | Neck篇 | 2024-TPAMI最新机制FreqFusion二次创新BiFPN（全网独家创新）
Snu77的博客
10-13 2271
本文给大家带来的改进机制是利用2024-TPAMI最新机制FreqFusion二次创新BiFPN，《Frequency-aware Feature Fusion for Dense Image Prediction》这篇文章的主要贡献是提出了一种新的特征融合方法（FreqFusion），旨在解决密集图像预测任务中的类别内不一致性和边界位移问题。本文将其和BiFPN进行结合实现二次创新BiFPN机制，相比于原始的YOLOv8本文的内容可以达到一定的轻量化，本文的内容在作者的多类别数据集上实现了涨点。
【论文笔记-TPAMI 2024】FreqFusion：用于密集图像预测的频率感知特征融合
qq_43456016的博客
02-26 1320
密集图像预测任务要求具有强类别信息和高分辨率精确空间边界细节的特征。为了实现这一点，现代分层模型通常利用特征融合，直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中，我们观察到融合特征值在对象内的快速变化，由于高频特征的干扰导致类别内不一致。此外，融合特征中模糊的边界缺乏准确的高频，导致边界位移。基于这些观察结果，我们提出了频率感知特征融合（FreqFusion），集成了自适应低通滤波器（ALPF）发生器，偏移发生器和自适应高通滤波器（AHPF）发生器。ALPF生成器预测空间变化的低通滤波
BiFPN（EfficientDet）
最新发布
qq_35766376的博客
03-20 321
1.提出一种全新的特征融合方法：重复加权双向特征金字塔网络 BiFPN（改进版的PANet+带权重的特征融合）2.提出一种复合的缩放方法(EfficientNet方法)：统一缩放 分辨率、深度、宽度、特征融合网络、box/class网络代码实现如下： 三、参考内容 EfficientDet: Scalable and Efficient Object Detection
Frequency-aware Feature Fusion for Dense Image Prediction 论文阅读
weixin_51657614的博客
10-01 944
为了实现这一点，现代分层模型通常利用特征融合，直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中，我们观察到融合特征值在对象内的快速变化，由于高频特征的干扰导致类别内不一致。此外，融合特征中模糊的边界缺乏准确的高频，导致边界位移。ALPF生成器预测空间变化的低通滤波器，以衰减对象内的高频组件，减少上采样期间的类内不一致。偏移量发生器通过重采样将不一致的特征替换为更一致的特征来细化大的不一致特征和细边界，而AHPF发生器增强了下采样过程中丢失的高频详细边界信息。
顶刊TPAMI 2024！北理等提出FreqFusion，让CVPR投稿轻松涨点
Paper weekly
09-17 4489
©PaperWeekly 原创 ·作者 |知凡单位 |北京理工大学研究方向 |图像检测分割大家是不是埋头准备 CVPR 2025 的投稿苦于涨点困难？快来看看热气腾腾的新鲜TPAMI 2024 论文：论文标题：Frequency-aware Feature Fusion for Dense Image Prediction论文链接：https://www.arxiv.org/abs/24...
【TPAMI 2024】即插即用的FreqFusion特征融合模块
Angelina_Jolie的博客
10-28 5229
本文主要讨论了在计算机视觉领域中，特别是在（如语义分割、对象检测、实例分割和全景分割）中的一个新方法——。是一种用于改善计算机视觉任务中特征融合性能的方法。它通过适应性地平滑高级特征，使用空间变化的低通滤波器，并通过重采样附近类别一致的特征来替换高级特征中的不一致特征，从而解决了类别不一致和边界位移的问题。此外，还增强了低级特征的高频边界细节，以提高特征的高频功率并锐化边界。具有非常干净，用法简单的代码，FreqFusion 通过的频率特性，能够提高低分辨率和高分辨率特征的。
YOLOv11改进有效涨点专栏目录 | 含卷积、主干、注意力机制、Neck、检测头、损失函数、二次创新C2PSA/C3k2等各种网络结构改进
Snu77的博客
11-05 5万+
Hello，各位读者们好.本文为最新YOLOv11有效涨点专栏目录，YOLOv11以及发布了一个月左右，这个过程中我也是给大家整理了许多的机制，其中包含了C3k2、主干（均支持根据yolov11训练的版本进行二次缩放，全系列都能轻量化）、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。
YOLOv12改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
03-10 6915
1️⃣ 什么！不知道如何改进模型⁉️ 本专栏所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行，性价比极高。2️⃣ 找不到合适的模块⁉️ 所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，并进行二次创新，新颖度高，创新度高，能够适应不同的任务场景。3️⃣ 不确定自己改进的步骤、结果是否正确⁉️ 订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容，非常适合新手。4️⃣ 团队内发表数篇SCI论
YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
10-11 2万+
如今各种网络模型更新迭代越来越快，计算机视觉相关的文章也越来越多，多到一些普通，通用的改进点无法达到发表的要求。本专栏正是解决这个问题！如何寻找创新点？为什么要使用这个模块？如何才能提升模型的精度？这是贯穿我们研究始终的问题。创新点在这个专栏中我已经整理好了，这已经省去了大部分时间，但是当我们使用这些新的模块去优化已有的模型，如何才能提升模型的精度，才是我们要达到的最终目标。当然我们可以使用传统的A+B+C的方法去堆积模块，然后是进行大量的实验去排列组合以实现最终的精度提升，这无可厚非。
BiFPN---加权双向特征金字塔网络（附代码）
PLANTTHESON的博客
09-26 2万+
BiFPN---加权双向特征金字塔网络（附代码）
【论文笔记】EfficientDet（BiFPN）（2020）
热门推荐
qq_38253797的博客
07-03 6万+
目录前言一、研究背景二、新型Neck结构：BiFPN三、EfficientDet的网络结构四、PyTorch实现 前言 论文地址： https://arxiv.org/abs/1911.09070. PyTorch实现： https://github.com/zylo117/Yet-Another-EfficientDet-Pytorch. 贡献： 提出一种全新的特征融合方法：重复加权双向特征金字塔网络 BiFPN ； 提出一种复合的缩放方法(EfficientNet方法)：统一缩放 分辨率、深度、宽度.
YOLOv5改进之BiFPN(含代码，超详细哦)
kay_545
10-05 1万+
BiFPN即“双向特征金字塔网络”，是一种常用于计算机视觉任务，特别是目标检测和实例分割的神经网络架构。它扩展了特征金字塔网络（FPN），通过在金字塔级别之间引入双向连接，使信息能够在网络中同时进行自底向上和自顶向下的流动。以下是BiFPN的工作原理概述：1. 特征金字塔生成：最初，网络通过从骨干网络（通常是ResNet等卷积神经网络）的多个层中提取特征来生成特征金字塔。2. 双向连接：与传统FPN不同，BiFPN在特征金字塔相邻级别之间引入了双向连接。
EfficientDet(BiFPN)（CVPR 2020）原理与代码解析
00000cj的博客
04-13 1万+
本文受EfficientNet的启发，提出了一种用于目标检测模型的复合尺度变换方法，不仅可以同时对分辨率、网络深度、网络宽度三个维度进行统一缩放，而且可以对目标检测模型中的骨干网络、特征网络、分类/回归预测网络中的上述三个维度进行统一缩放。 此外，本文还提出了一种新的加权双向特征金字塔网络（bi-directional feature pyramid network，BiFPN），可以简单快速地进行多尺度特征融合。 基于上述两点，并入引入更好的backbone即EfficientNet，作者提出了一个
BiFPN，one-stage，two-stage
m0_56175815的博客
06-11 4202
BiFPN，one-stage，two-stage
yolov5-7.0 添加BiFPN
heromps的博客
05-23 1万+
BiFPN是目标检测中神经网络架构设计的选择之一，为了优化目标检测性能而提出。主要用来进行多尺度特征融合，对神经网络性能进行优化。
EfficientDet（EfficientNet+BiFPN）论文超详细解读（翻译＋学习笔记+代码实现）
路人贾的博客
06-28 1万+
EfficientDet（EfficientNet+BiFPN）论文《EfficientDet: Scalable and Efficient Object Detection》超详细解读，含代码实现
【论文速看】DL最新进展20240924-增量语义分割、多任务分割检测、遥感目标检测
qq_40734883的博客
09-24 1509
【论文速看】DL最新进展20240924-增量语义分割、多任务分割检测、目标检测
yolov11改进slim-neck
12-28
### YOLOv11 Slim-Neck 技术细节和实现方法 #### 背景与动机 为了提高YOLO系列模型在边缘设备上的实时性和准确性，引入了Slim-Neck (SNs) 结构。这种结构旨在通过优化网络架构来平衡计算资源消耗与检测精度之间的关系[^1]。 #### Slim-Neck 的核心概念 Slim-Neck 是基于 GSConv 设计的一种新型瓶颈层，它能够有效地减少参数数量并加速推理过程而不牺牲太多性能。具体来说： - **通道重组**：通过对特征图的不同部分应用不同类型的卷积操作（如深度可分离卷积），可以更灵活地控制每层的信息流。 - **多尺度融合机制**：利用跨层次连接的方式增强低分辨率特征表示的能力，从而更好地捕捉到图像中的细粒度信息。 #### 实现步骤概述 以下是针对 YOLOv11 添加 Slim-Neck 组件的主要改动点： ##### 修改配置文件 首先，在 `yolov11.yaml` 配置文件中定义新加入的 SN 模块及其超参设置。例如： ```yaml backbone: ... neck: type: 'SlimNeck' out_channels: [256, 512, 1024] head: ... ``` ##### 编写 Python 类 接着创建一个新的Python类用于实例化Slim-Neck对象，并将其集成至整个框架内。这里给出一个简化版的例子： ```python import torch.nn as nn class SlimNeck(nn.Module): def __init__(self, in_channels=[256, 512, 1024], mid_channels=256): super(SlimNeck, self).__init__() # 定义各阶段的具体组件... def forward(self, x): """前向传播逻辑""" pass def build_slim_neck(cfg): return SlimNeck(**cfg['neck']) ``` ##### 更新训练脚本 最后调整主程序入口处的相关调用语句，确保能正确加载自定义颈部结构参与迭代更新流程： ```python from models import yolov11, build_slim_neck if __name__ == '__main__': model = yolov11() neck = build_slim_neck(model.cfg) model.add_module('neck', neck) trainer.train(model=model, ...) ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值