Frequency-aware Feature Fusion for Dense Image Prediction

已于 2024-10-15 16:47:01 修改
阅读量494 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 鼠鼠的AI笔记 文章标签： python 深度学习 机器学习 人工智能 计算机视觉 pytorch
于 2024-10-09 10:59:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013302570/article/details/142779204

个人觉得论文赞的地方

https://github.com/Linwei-Chen/FreqFusion
https://www.arxiv.org/abs/2408.12879
因为我有个项目需要训练边界模糊的情况，但又需要目标能在模糊里凸显出来，就是看到这张图以后觉得很赞，边界变得清晰有特征是我想要的，所以尝试用了
在这里插入图片描述

TPAMI-2024-Fully Unsupervised Deepfake Video Detection Via Enhanced Contrastive Learning
qq_37246721的博客
07-06 524
2.真伪视频的深层高级特征相似性大，需要在语义层面提取特征，而不是像分类任务一样在理解层面提取特征。因此在无监督任务的初步聚类中，使用手工伪影特征（VAF）更合适。2.现有无监督任务仍需要部分标注：利用无标注数据进行模型预训练，利用有标签数据微调分类器（类别需要标注）。1.以往工作中，上游对特征提取器的训练是无监督的，而下游对分类器的训练仍然需要真实标签监督。1.现有deepfake方法依赖于准确的标签监督，因此受限于标签数量或标签攻击。在无标签的情况下训练下游的分类器。
YOLOv11改进 | Neck篇 | 2024最新TPAMI机制FreqFusion二次创新BiFPN（全网独家创新）
Snu77的博客
11-10 3060
本文给大家带来的最新改进机制是利用2024-TPAMI最新机制FreqFusion二次创新BiFPN《Frequency-aware Feature Fusion for Dense Image Prediction》这篇文章的主要贡献是提出了一种新的特征融合方法（FreqFusion），旨在解决密集图像预测任务中的类别内不一致性和边界位移问题。本文将其和BiFPN进行结合实现二次创新BiFPN机制，相比于原始的YOLOv11本文的内容可以达到一定的轻量化，本文的内容在作者的多类别数据集上实现了涨点。
【TPAMI 2024】即插即用的FreqFusion特征融合模块
Angelina_Jolie的博客
10-28 5421
本文主要讨论了在计算机视觉领域中，特别是在（如语义分割、对象检测、实例分割和全景分割）中的一个新方法——。是一种用于改善计算机视觉任务中特征融合性能的方法。它通过适应性地平滑高级特征，使用空间变化的低通滤波器，并通过重采样附近类别一致的特征来替换高级特征中的不一致特征，从而解决了类别不一致和边界位移的问题。此外，还增强了低级特征的高频边界细节，以提高特征的高频功率并锐化边界。具有非常干净，用法简单的代码，FreqFusion 通过的频率特性，能够提高低分辨率和高分辨率特征的。
涨点神器来了！Nature子刊新方法，特征选择性能效率提升98%
最新发布
2501_91057708的博客
05-27 986
2025年AI领域特征选择技术研究取得重要突破。Nature子刊提出的bGGO方法在准确率上超越传统SOTA，FSFC技术实现了98%的效率提升。研究者针对高维数据开发了创新算法：FreqFusion方法通过频域技术增强特征融合质量，DAL算法则显著提升了计算效率。这些技术在密集图像预测和功能数据分类等任务中展现出卓越性能，不仅解决了类别不一致和边界位移问题，还提高了模型泛化能力。相关论文已发表于arXiv，为AI模型优化提供了新的解决方案。
Frequency-aware Feature Fusion for Dense Image Prediction 论文阅读
weixin_51657614的博客
10-01 969
为了实现这一点，现代分层模型通常利用特征融合，直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中，我们观察到融合特征值在对象内的快速变化，由于高频特征的干扰导致类别内不一致。此外，融合特征中模糊的边界缺乏准确的高频，导致边界位移。ALPF生成器预测空间变化的低通滤波器，以衰减对象内的高频组件，减少上采样期间的类内不一致。偏移量发生器通过重采样将不一致的特征替换为更一致的特征来细化大的不一致特征和细边界，而AHPF发生器增强了下采样过程中丢失的高频详细边界信息。
【论文笔记-TPAMI 2024】FreqFusion：用于密集图像预测的频率感知特征融合
qq_43456016的博客
02-26 1520
密集图像预测任务要求具有强类别信息和高分辨率精确空间边界细节的特征。为了实现这一点，现代分层模型通常利用特征融合，直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中，我们观察到融合特征值在对象内的快速变化，由于高频特征的干扰导致类别内不一致。此外，融合特征中模糊的边界缺乏准确的高频，导致边界位移。基于这些观察结果，我们提出了频率感知特征融合（FreqFusion），集成了自适应低通滤波器（ALPF）发生器，偏移发生器和自适应高通滤波器（AHPF）发生器。ALPF生成器预测空间变化的低通滤波
顶刊TPAMI 2024！北理等提出FreqFusion，让CVPR投稿轻松涨点
Paper weekly
09-17 4724
©PaperWeekly 原创 ·作者 |知凡单位 |北京理工大学研究方向 |图像检测分割大家是不是埋头准备 CVPR 2025 的投稿苦于涨点困难？快来看看热气腾腾的新鲜TPAMI 2024 论文：论文标题：Frequency-aware Feature Fusion for Dense Image Prediction论文链接：https://www.arxiv.org/abs/24...
【论文速看】DL最新进展20240924-增量语义分割、多任务分割检测、遥感目标检测
qq_40734883的博客
09-24 1551
【论文速看】DL最新进展20240924-增量语义分割、多任务分割检测、目标检测
多尺度特征融合13种创新方案全面汇总，含2024年最新
热门推荐
学姐带你玩AI的博客
01-25 2万+
前段时间和大佬朋友交流学术的时候，发现目前发论文最好用的。上回我们讲过了加注意力机制，今天我们就来聊聊多尺度特征融合。多尺度特征融合是一种在图像处理和CV中使用的技术，由于其在各种任务中都通用，并且对改善识别、分类或检测任务的性能都非常有用，所以成了我们发paper的必备创新点。这次我就和同学们分享，分了4个大方向：自适应多尺度特征融合机制、基于图神经网络的多尺度融合、注意力引导的多尺度特征融合以及端到端的多尺度特征学习。论文原文以及开源代码合集看文末。
目标检测比赛之YOLOV4方法
lodew920
08-09 1958
1 前言 1.1实训背景 随着生产生活对电力能源的需求量不断增加,我国对电力生产产生了更高的需求，受多方面因素的影响,我国电力生产事故的发生频率处于较高水平,对城市的安全生产造成了威胁，因此,必须要将全方位的安全生产理念引入到电力生产作业中,为电力系统的正常运行提供保障，电力生产作业过程中工序复杂，日常巡检和维修过程中会接触高压电力设备，如操作不当或未佩戴防护装备，容易出现安全事故，为确保电力工作人员在采用合规防护措施和操作流程，采用机器学习相关算法对施工现场进行合规检测，诣在提高工作人员安全防护意识，提升
Yolo v5 长方形 训练修改
EmoC的博客
04-25 2647
感谢，以下内容改自：http://t.csdn.cn/37m2w dataloaders.py # YOLOv5 🚀 by Ultralytics, GPL-3.0 license """ Dataloaders and dataset utils """ import contextlib import glob import hashlib import json import math import os import random import shutil import time from it
python 加速(1)
EmoC的博客
06-15 2588
因为要修改yolo系列里NMS处的计算，如果用python，速度巨慢。torchvision 有自己的加速后的NMS function。但是不和形变后的IOU通用。因此需要做一个类似的。回看torchvion, 发现里面有cpp的文件，因为之前没有接触过加速（资源比较丰富）。C++ 并不是加速NMS那步操作的解药，解药是CUDA kernel。因此，如果要加速任何的function在model里，CUDA kernel 是最终目的。自己之前误入歧途，以为C++就能加速一切。
Whisper
EmoC的博客
11-30 1898
Whisper 代码详解
自己训练 PaddleOCR PP_OCRv4
EmoC的博客
07-04 1741
所以，如果你的数据像我的一样的话，100%确定是水平的框，不是斜着的，那么请放心大胆把这两行注释了，你会发现数据导出的一片满意~尽管在模型训练里添加了旋转的数据增强，但是旋转过大的数据直接增加模型训练难度，而且加入后对原本识别好的有所下降, 所以还是看时间，如果时间够多，增加epochs，时间少，就不要给模型加大训练难度了。这时，你的terminal会有路径变化，为了以防万一，可以ls一下，看看当前的路径（默认是训练的文件夹）有没有你需要的。检查了默认的数据增强，按照官方建议，我要把概率提高到0.6。
openCV的CUDA GPU 版本安装 （Ubuntu windows 通用）
EmoC的博客
10-22 1694
例子：/media/xxx/cozynest/anaconda3/envs/detection/lib/python3.9/site-packages/cv2/python-3.10。这里有可能会出现configure的文件找不到的错误，可以直接copy paste Python 版本的文件，根据缺失文件的名字添加。这样放的原因是我Ubuntu的Home容量不够多，导致我需要把这些东西放在另一个盘上，其次是这样安装比较干净。以下是Python3相关会填入的内容。2：下载后的两个包裹会放在以下结构。
YOLO NAS note 1
EmoC的博客
05-18 1676
Yolo-Nas 的代码比YOLO v8 还恐怖。之前的YOLO数据可以通过：coco_detection_yolo_format_train， 和 coco_detection_yolo_format_val 自动转。
Towards Robust Blind Face Restoration with Codebook Lookup Transformer
EmoC的博客
01-18 1141
这个projec相对codeformer已经是老一些的了，CodeFormer paper说自己的效果比这个更好。有看了这个视频，它借用了R-ESRGAN 4x 和 GFPGAN 50%，既保留了一些人物特征，又有了更好的效果。
Tri-clustered tensor completion for social-aware image tag refinement.
02-26
### 社交感知图像标签细化中的三聚类张量补全方法 在计算机视觉和机器学习领域，社交感知图像标签细化是一个重要的研究方向。为了提高图像标签的质量并增强理解能力，三聚类张量补全（tri-clustered tensor completion, TCTC）作为一种有效的方法被广泛应用。 #### 方法概述 TCTC旨在通过构建一个多维数据结构——即张量来表示图像、用户和社会上下文之间的复杂关系[^1]。该方法不仅考虑了图像本身的特征，还融合了用户的交互行为以及社会网络的信息，从而实现更全面的数据建模。具体来说： - **多源信息集成**：利用来自不同维度的数据（如像素级视觉描述符、用户生成的内容及好友间的关联），形成一个三维或多维的张量模型。 - **低秩近似假设**：基于这样的前提条件，即使部分观测值缺失，在理想情况下整个系统的内在模式仍然可以保持较低的秩特性；因此可以通过求解优化问题恢复完整的张量矩阵[^2]。 ```python import numpy as np from scipy.optimize import minimize def objective_function(X, Y, Z): """定义目标函数""" # X,Y,Z分别代表三个不同的视角下的数据矩阵 pass def tri_cluster_tensor_completion(data_matrix, rank=5): """ 实现简单的三聚类张量补全算法 参数: data_matrix -- 输入的部分已知元素构成的稀疏张量 rank -- 设定用于逼近原始张量的潜在因子数量 返回: completed_tensor -- 完整填充后的张量估计值 """ shape = data_matrix.shape U = np.random.rand(shape[0],rank) V = np.random.rand(shape[1],rank) W = np.random.rand(shape[2],rank) def loss(params): U,V,W=params.reshape((3,-1)) pred=np.einsum('ik,jk,k->ij',U,V,W) err=(data_matrix-pred)**2 mask=~np.isnan(err) return .5*err[mask].mean() res=minimize(loss,np.hstack([U.ravel(),V.ravel(),W.ravel()])) U,V,W=res.x.reshape((-1,rank),(-1,rank),(shape[-1],rank)) completed_tensor=np.einsum('ik,jk,k->ijk',U,V,W).reshape(shape) return completed_tensor ``` 此代码片段提供了一个简化版的三聚类张量补全框架，实际应用中可能还需要加入正则化项以防止过拟合等问题，并且针对特定应用场景调整参数设置。 #### 应用场景 对于社交平台上的图片分享活动而言，这种方法能够帮助自动修正或补充不准确/模糊不清的照片标注文字说明，进而提升用户体验和服务质量。此外，它还可以辅助搜索引擎更好地索引多媒体资源，促进跨媒体检索技术的发展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值