YOLOv8改进 | Neck篇 | 2024-TPAMI最新机制FreqFusion二次创新BiFPN（全网独家创新）

已于 2025-01-12 22:10:08 修改
阅读量2.2k 收藏 11
点赞数 4
分类专栏： YOLOv8有效涨点专栏 文章标签： YOLO 人工智能 深度学习 机器学习 计算机视觉 算法 YOLOv8
于 2024-10-13 20:47:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/142903804
版权

一、本文介绍

本文给大家带来的改进机制是利用2024-TPAMI最新机制FreqFusion二次创新BiFPN，《Frequency-aware Feature Fusion for Dense Image Prediction》这篇文章的主要贡献是提出了一种新的特征融合方法（FreqFusion），旨在解决密集图像预测任务中的类别内不一致性和边界位移问题。本文将其和BiFPN进行结合实现二次创新BiFPN机制，相比于原始的YOLOv8本文的内容可以达到一定的轻量化，本文的内容在作者的多类别数据集上实现了涨点。

专栏目录：YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制 

目录

一、本文介绍

二、原理介绍

三、核心代码

四、添加方法

4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四 

五、正式训练

5.1 yaml文件

5.2 训练代码 

5.3 训练过程截图 

了解本专栏 订阅专栏 解锁全文
YOLOv8改进策略【独家融合改进】| 模型轻量化二次改进：StarNet + FreqFusion，极限降参，适用专栏内所有轻量化模型
Limiiiing的博客
02-27 423
FreqFusion是一种旨在解决密集图像预测任务中特征融合问题。
YOLOv11改进 | Neck篇 | 2024最新TPAMI机制FreqFusion二次创新BiFPN（全网独家创新）
Snu77的博客
11-10 2795
本文给大家带来的最新改进机制是利用2024-TPAMI最新机制FreqFusion二次创新BiFPN《Frequency-aware Feature Fusion for Dense Image Prediction》这篇文章的主要贡献是提出了一种新的特征融合方法（FreqFusion），旨在解决密集图像预测任务中的类别内不一致性和边界位移问题。本文将其和BiFPN进行结合实现二次创新BiFPN机制，相比于原始的YOLOv11本文的内容可以达到一定的轻量化，本文的内容在作者的多类别数据集上实现了涨点。
【TPAMI 2024】即插即用的FreqFusion特征融合模块
Angelina_Jolie的博客
10-28 5226
本文主要讨论了在计算机视觉领域中，特别是在（如语义分割、对象检测、实例分割和全景分割）中的一个新方法——。是一种用于改善计算机视觉任务中特征融合性能的方法。它通过适应性地平滑高级特征，使用空间变化的低通滤波器，并通过重采样附近类别一致的特征来替换高级特征中的不一致特征，从而解决了类别不一致和边界位移的问题。此外，还增强了低级特征的高频边界细节，以提高特征的高频功率并锐化边界。具有非常干净，用法简单的代码，FreqFusion 通过的频率特性，能够提高低分辨率和高分辨率特征的。
FreqFusion：一种新的频率感知特征融合方法
m0_59164304的博客
10-29 2448
我们首先介绍广泛使用的标准特征融合方法，然后概述 FreqFusion 的设计。标准特征融合。通常，特征融合的常见方式可以表述为[15]，[16]，[93]：其中 分别表示由主干生成的第 个特征和第 级的融合特征。我们假设它们具有相同数量的通道；如果不是，一个简单的投影函数，如 卷积，可以确保这一点 [16]，为简洁起见，我们省略了这一点。术语 表示上采样，例如 2× 最近邻或双线性插值 [16]，[17]。
FreqFusion使用时mmcv导入时 ImportError: DLL load failed while importing _ext: 找不到指定的程序。
egyonc的博客
10-04 355
然后由于我本地使用的torch和cuda版本不同，安装后使用FreqFusion就报错了。然后选好自己对应的torch和cuda版本，复制命名安装即可。解决方法也很简单，安装对应的mmcv版本就可以了。
【论文笔记-TPAMI 2024】FreqFusion：用于密集图像预测的频率感知特征融合
qq_43456016的博客
02-26 1319
密集图像预测任务要求具有强类别信息和高分辨率精确空间边界细节的特征。为了实现这一点，现代分层模型通常利用特征融合，直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中，我们观察到融合特征值在对象内的快速变化，由于高频特征的干扰导致类别内不一致。此外，融合特征中模糊的边界缺乏准确的高频，导致边界位移。基于这些观察结果，我们提出了频率感知特征融合（FreqFusion），集成了自适应低通滤波器（ALPF）发生器，偏移发生器和自适应高通滤波器（AHPF）发生器。ALPF生成器预测空间变化的低通滤波
顶刊TPAMI 2024！北理等提出FreqFusion，让CVPR投稿轻松涨点
Paper weekly
09-17 4487
©PaperWeekly 原创 ·作者 |知凡单位 |北京理工大学研究方向 |图像检测分割大家是不是埋头准备 CVPR 2025 的投稿苦于涨点困难？快来看看热气腾腾的新鲜TPAMI 2024 论文：论文标题：Frequency-aware Feature Fusion for Dense Image Prediction论文链接：https://www.arxiv.org/abs/24...
YOLOv8改进--添加bifpn结构
jisuaijicainiao的博客
04-07 5903
BIFPN我只是简单了解了一下他的结构图还未做深如了解，在此就不介绍了。可以自己先去研究论文，我研究完再补充。3.其中v8的配置文件修改为;
YOLOv11改进有效涨点专栏目录 | 含卷积、主干、注意力机制、Neck、检测头、损失函数、二次创新C2PSA/C3k2等各种网络结构改进
热门推荐
Snu77的博客
11-05 5万+
Hello，各位读者们好.本文为最新YOLOv11有效涨点专栏目录，YOLOv11以及发布了一个月左右，这个过程中我也是给大家整理了许多的机制，其中包含了C3k2、主干（均支持根据yolov11训练的版本进行二次缩放，全系列都能轻量化）、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。
YOLOv8改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
12-24 5652
1️⃣本专栏已更新150多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-24。项目介绍在大家购买专栏后，加入学
YOLOv12改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
最新发布
Limiiiing的博客
03-10 6906
1️⃣ 什么！不知道如何改进模型⁉️ 本专栏所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行，性价比极高。2️⃣ 找不到合适的模块⁉️ 所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，并进行二次创新，新颖度高，创新度高，能够适应不同的任务场景。3️⃣ 不确定自己改进的步骤、结果是否正确⁉️ 订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容，非常适合新手。4️⃣ 团队内发表数篇SCI论
结合创新！频域+特征融合新突破，让顶会投稿轻松涨点！
学姐带你玩AI的博客
12-11 3389
最近TPAMI 2024上很火的FreqFusion大家有关注吗？看了下这是种新的频率感知特征融合方法，涨点超级猛，直接覆盖语义分割、目标检测、实例分割和全景分割！FreqFusion用到了技术，这种技术的优势就在于能捕捉到传统时域分析难以揭示的频率特性，帮助我们构建出更加复杂和精细的模型，是信号处理、图像识别等任务新的、更加高效的解决思路和手段。所以频域+特征融合也在顶会（比如CVPR、AAAI）上的成果也很多，想发顶会顶刊的同学可以考虑。我这边整理了。
【论文速看】DL最新进展20240924-增量语义分割、多任务分割检测、遥感目标检测
qq_40734883的博客
09-24 1509
【论文速看】DL最新进展20240924-增量语义分割、多任务分割检测、目标检测
Frequency-aware Feature Fusion for Dense Image Prediction
通街是密人有的博客
11-11 1990
密集图像预测任务要求具有高分辨率的强类别信息和精确的空间边界细节特征。为了实现这一点，现代分层模型通常利用特征融合，直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中，我们观察到融合特征值在对象内的快速变化，由于高频特征的干扰导致类别内不一致。此外，融合特征中模糊的边界缺乏准确的高频，导致边界位移。基于这些观察结果，我们提出了频率感知特征融合（FreqFusion），集成了自适应低通滤波器（ALPF）生成器，偏移生成器和自适应高通滤波器（AHPF）生成器。
YOLOv12改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
Limiiiing的博客
03-09 250
FreqFusion是一种旨在解决密集图像预测任务中特征融合问题。
Frequency-aware Feature Fusion for Dense Image Prediction 论文阅读
weixin_51657614的博客
10-01 944
为了实现这一点，现代分层模型通常利用特征融合，直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中，我们观察到融合特征值在对象内的快速变化，由于高频特征的干扰导致类别内不一致。此外，融合特征中模糊的边界缺乏准确的高频，导致边界位移。ALPF生成器预测空间变化的低通滤波器，以衰减对象内的高频组件，减少上采样期间的类内不一致。偏移量发生器通过重采样将不一致的特征替换为更一致的特征来细化大的不一致特征和细边界，而AHPF发生器增强了下采样过程中丢失的高频详细边界信息。
YOLOv11/10/8算法改进【NO.151】引入用于密集图像预测的频率感知特征融合
m0_70388905的博客
10-27 822
提出了频率感知特征融合 （FreqFusion），集成了自适应低通滤波器 （ALPF） 发生器、偏移发生器和自适应高通滤波器 （AHPF） 发生器。ALPF 发生器预测空间变化的低通滤波器，以衰减对象内的高频分量，从而减少上采样期间的类内不一致。
几行代码发顶刊TPAMI！特征融合还能这么玩？！快来抄作业！
2401_88190197的博客
11-21 429
最近被顶刊TPAMI24上的一篇特征融合文章惊艳到了！作者提出了一种新型融合方法：FreqFusion，只需几行代码，便能显著涨点！该模型通过自适应滤波和特征重采样，来增强密集图像预测任务中的特征一致性和边界清晰度，在语义分割、目标检测、实例分割和全景分割等任务中都性能卓越！实际上，，每年都有多篇顶会产出！主要在于，特征融合在机器学习和数据科学中起着至关重要的作用，它有助于提高模型的性能、鲁棒性和泛化能力，同时降低过拟合风险，并促进计算效率和解释性的提升。
SSE图像算法优化系列二十九：基础的拉普拉斯金字塔融合用于改善图像增强中易出现的过增强问题（一）...
weixin_33905756的博客
03-30 499
　　拉普拉斯金字塔融合是多图融合相关算法里最简单和最容易实现的一种，我们在看网络上大部分的文章都是在拿那个苹果和橙子融合在一起，变成一个果橙的效果作为例子说明。在这方面确实融合的比较好。但是本文我们主要讲下这个在图像增强方面的运用。 首先我们还是来讲下这个融合的过程和算法优化。 算法第一步：输入两个相同大小，位深的图像，通过拉普拉斯分解得到各自的拉普拉斯金字塔数据A...
FreqFusion
01-19
### 如何使用 FreqFusion 进行频率融合处理 FreqFusion 是一种先进的特征融合技术，专门设计用于解决标准特征融合中存在的类别不一致和边界位移问题。该方法通过结合自适应低通和高通滤波器来提升预测性能[^3]。 #### 安装与配置 为了使用 FreqFusion，首先需要安装必要的依赖库： ```bash pip install freqfusion # 假设有一个名为freqfusion的Python包 ``` 接着，初始化 FreqFusion 模块并加载预训练模型或设置参数： ```python from freqfusion import FreqFusionModule # 初始化模块 ff_module = FreqFusionModule() # 加载预训练权重（如果有） ff_module.load_weights('path_to_pretrained_model.pth') ``` #### 数据准备 确保输入数据已经过适当预处理，并转换成适合频域分析的形式。通常情况下，这涉及到将时间序列信号转化为频谱图或其他形式的频域表示法。 ```python import numpy as np # 示例：生成随机的时间序列数据作为输入 time_series_data = np.random.randn(1, 100) # 将时间序列数据转换为频域表示 frequency_domain_representation = np.fft.fft(time_series_data) ``` #### 应用 FreqFusion 处理 应用 FreqFusion 对不同频率带的数据进行融合处理。此过程涉及选择特定的频率范围（如 δ、θ、α、β 和 γ 波），并对这些频率成分执行加权平均操作以获得最终融合后的特征向量。 ```python def apply_freq_fusion(freq_representations): """ 应用 FreqFusion 特征融合 参数: freq_representations (list): 不同频率带下的特征列表 返回: fused_features (ndarray): 融合后的特征向量 """ # 执行实际的融合逻辑 fused_features = ff_module(frequency_domain_representation) return fused_features fused_output = apply_freq_fusion([delta_band, theta_band, alpha_band, beta_band, gamma_band]) ``` #### 结果评估 完成上述步骤后，可以进一步利用融合得到的新特征来进行分类、回归等下游任务，并对比未经过 FreqFusion 的原始特征表现差异。 ---
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值