《InfMAE: A Foundation Model in Infrared Modality》CVPR2024

最新推荐文章于 2025-07-24 18:16:07 发布
最新推荐文章于 2025-07-24 18:16:07 发布
阅读量501 收藏
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 论文精读 文章标签： 计算机视觉 人工智能 深度学习 算法 svm python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_53826699/article/details/136917675
博客探讨了基础模型与大模型，指出大模型即基础模型，具有大规模参数和复杂计算结构，后续研究需将二者耦合。还提及多光谱、红外、可见光的基础模型架构及差异研究，以及利用跨模态基础模型开展领域基础研究。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

基础模型vs大模型：大模型，也称基础模型，是指具有大规模参数和复杂计算结构的机器学习模型

以后的研究中必须把大模型和基础模型耦合进来

总结：占坑

1. A+B

多光谱的基础模型

红外的基础模型

可见光的基础模型

整体架构差不多，不一样的地方值得研究，就可以考虑A+B

2. 利用跨模态的基础模型去做我们领域的基础研究

cvpr2015papers
ZhangPY的专栏
03-02 9359
@http://www-cs-faculty.stanford.edu/people/karpathy/cvpr2015papers/ CVPR 2015 papers (in nicer format than this) maintained by @karpathy NEW: This year I also embedded the (1,2-gram) tfidf
CVPR2024｜底层视觉(超分辨率，图像恢复，去雨，去雾，去模糊，去噪等)相关论文汇总（附论文链接/开源代码/解析）【持续更新】
热门推荐
Kobaayyy的博客
02-27 1万+
整理汇总下今年CVPR底层视觉(Low-Level Vision)相关的论文和代码，括超分辨率，图像去雨，图像去雾，去模糊，去噪，图像恢复，图像增强，图像去摩尔纹，图像修复，图像质量评价，插帧，图像/视频压缩等任务
CVPR 2024 机器学习方向总汇（多任务、联邦学习、迁移学习和对抗等）
qq_36812406的博客
01-16 1598
1、Machine Learning(机器学习)多任务、联邦学习、迁移学习和对抗等 Molecular Data Programming: Towards Molecule Pseudo-labeling with Systematic Weak Supervision 👍摘要 Improving Physics-Augmented Continuum Neural Radiance Field-Based Geometry-Agnostic System Identification with La
深度学习论文分享（五）DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion
ElysiumAILab
07-25 3003
在此仅做翻译多模态图像融合的目的是将不同的模态结合在一起，产生融合的图像，这些图像保留了每种模态的互补特征，如功能亮点和纹理细节。为了利用强大的生成先验并解决基于gan的生成方法的训练不稳定和缺乏可解释性等挑战，我们提出了一种基于去噪扩散概率模型(DDPM)的新型融合算法。将融合任务表述为DDPM采样框架下的条件生成问题，并进一步划分为无条件生成子问题和极大似然子问题。后者是在一个层次贝叶斯方式与潜在变量建模，并通过期望最大化算法推断。
CVPR2025
weixin_45216013的博客
05-19 955
LVM\LLM\robotics确实是大热点，LVM\LLM多做下游任务，有部分微调的工作。robotics上面的任务非常繁杂。超出以外的是有非常多multi-view关键词的工作，个人猜想是否是因为2D CV的工作其实已经到一个好的阶段，但是总归要应用到3D中，因此探索multi-view：2D-3D-2D的过程是正在进行时出现了一些 Aerial-to-Ground关键词，并且有两篇是数据集贡献。
CVPR2017论文摘要汇总
super_chicken的博客
04-09 1万+
1. Exclusivity-Consistency Regularized Multi-view Subspace Clustering Abstract: Multi-view subspace clustering aims to partition a set of multi-source data into their underlying groups. To boost the ...
【论文阅读】：NTU RGB+D: A Large Scale Dataset for 3D Human Activity Analysis
qq_36627158的博客
08-25 1584
NTU RGB+D: A Large Scale Dataset for 3D Human Activity Analysis （2016 CVPR） Amir Shahroudy, Jun Liu, Tian-Tsong Ng, Gang Wang Notes Contribution 1、introduce a large-scale dataset for RGB+D human action recognition 2、propose a new recurrent neural n
CVPR 2011 全部论文标题和摘要
3D Vision
09-21 1万+
CVPR 2011 Tian, Yuandong; Narasimhan, Srinivasa G.; , ■Rectification and 3D reconstruction of curved document images,■ Computer Vision and
泛读论文：Person-reID 行人重识别合集
汪汪汪的博客
03-19 1万+
2017CVPR、ICCV和NIPS在Person Reidentification方向的相关工作小结 基于融合特征的行人再识别方法 模式识别与人工智能 2017.3 问题 目前常用的行人再识别方法主要集中在行人外形特征的描述和同一行人对应的 2 幅图像之间距离的学习度量．由于行人图像的亮度和相机角度的变化等，提取行人的外形特征的不变性较难，因此在各个图像库上行人再识别的识别率较低 ...
ICCV2017论文摘要汇总
super_chicken的博客
04-18 7048
1. Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence Abstract: Estimating the 6-DoF pose of a camera from a single image relative to a pre-computed 3D p...
[2025CVPR-目标检测方向]FSHNet：一种用于3D物体检测的全稀疏混合网络。
hasakie的博客
07-18 1113
FSHNet是一种创新的全稀疏混合网络，用于解决3D物体检测中的长距离交互弱和中心特征缺失问题。该网络结合稀疏卷积的高效性和注意力机制的全局交互能力，通过SlotFormer块实现无限长距离交互，采用动态稀疏标签分配优化训练，并引入稀疏上采样模块增强细节。在Waymo、nuScenes和Argoverse2数据集上均达到SOTA性能，显著提升了大物体和小物体的检测精度。
FSHNet：高效目标检测新突破
keny-大成的博客
07-23 887
FSHNet是一种高效的目标检测网络，通过特征收缩机制减少计算量，适用于实时场景。该网络结合稀疏卷积和注意力机制，解决了长距离交互能力弱等问题，在多个3D检测基准上达到SOTA性能。文章提供了Rust实现方案，涵盖数据加载、模型定义、训练流程和部署优化。核心创新包括SlotFormer块、动态标签分配等，支持并行计算和WASM部署。代码示例展示了文件处理、网络通信等实用操作，便于实际应用开发。
OpenCV计算机视觉实战（16）——图像分割技术
qq_30167691的博客
07-21 872
本节从分水岭的高程地图思路切入，讲解如何借助距离变换与连通组件构建水漫分割，再通过 GrabCut 的图割模型与用户交互实现更高精度的前景去背，最后以 FloodFill 的种子驱动方式演示快速区域生长。三者各有侧重，却可互为补充：分水岭适合自动化预分割，GrabCut 适合复杂边缘细化，FloodFill 则胜在简单直观和交互式应用。
旋转目标检测（Rotated Object Detection）技术概述
qq_54708219的博客
07-21 1002
单阶段方法凭借较好的速度-精度平衡成为研究和应用热点，尤其是基于FCOS、ATSS等无锚框框架的改进版本（如Rotated FCOS, S2A-Net）。GV、CSL、KLD/GWD等改进表示法和损失函数极大地缓解了角度回归问题。解决角度表示与回归的不连续性问题（CSL, GV, KLD等）和提升旋转不变/等变特征表达能力（数据增强、可变形卷积、特征对齐等）是核心。极端小目标、极端长宽比目标（如电线、舰船）的检测。密集排列、严重遮挡场景下的目标区分。旋转IoU计算的效率和可导性（虽有改进，仍是瓶颈）。
YOLO11优化：卷积魔改创新 | AAAI 2025 | 一种新颖的风车形卷积（PConv）符合微弱小目标的像素高斯空间分布，增强特征提取，显著增加接受野
QQ_778132974的博客
07-24 180
在计算机视觉领域，小目标检测一直是极具挑战性的任务。和。当目标尺寸小于32×32像素时，检测精度会急剧下降。近期在AAAI 2025上发表的创新性研究提出了一种全新的，专门针对小目标的像素高斯分布特性进行优化。本文将深入解析这一突破性技术，展示其如何集成到YOLO11中实现性能飞跃。
【论文|复现】YOLOFuse：面向多模态目标检测的双流融合框架
最新发布
静谧、淡雅
07-24 1007
■技术特性 ■LLVIP基准测试结果 ■数据输入规范 ■快速部署指南 ①环境初始化 ②模型训练 ③推理验证 ④代码 ■数据集结构 ■扩展 ▲常见模态组合与应用场景 ▲融合方式
嵌入式学习-土堆目标检测（1）-day26
liuguangqia的博客
07-21 804
土堆pytorch已经学完了，目前开始学目标检测，一些数据集的使用，然后目标检测的基本结构，再是yolo模型，再是ultralytics框架土堆官网，一些教程，工具， 膜拜大佬 ORZ： 我是土堆 | 我是土堆识别：识别矩阵框中的内容感兴趣的目标，不仅可以是一些常规的目标，也可以是一些“非常规”或者说是抽象的目标定位：在图像中找到目标的位置，用矩阵框表示出来这就是目标检测数据集可以在这里下载： Machine Learning Datasets | Papers With Code数据集涉及到 输入 和 输
DenseFuse: A Fusion Approach to Infrared and Visible Images
01-22
### DenseFuse 方法的技术细节 DenseFuse 是一种专门针对红外图像和可见光图像融合提出的深度学习框架[^1]。该方法通过构建一个多尺度密集连接网络，实现对两种模态图像的有效融合。 #### 多尺度特征提取 DenseFuse 利用了卷积神经网络（CNN）强大的特征表达能力，采用多尺度结构来捕捉不同层次的空间信息。具体来说，输入的红外图像和可见光图像会经过多个卷积层处理，每一层都会生成一组特征图谱。这些特征图不仅包含了局部纹理信息，还能够反映全局语义特性。 ```python import torch.nn as nn class MultiScaleFeatureExtractor(nn.Module): def __init__(self, num_channels=1): super(MultiScaleFeatureExtractor, self).__init__() self.conv1 = nn.Conv2d(num_channels, 64, kernel_size=3, stride=1, padding=1) # 更多卷积层... def forward(self, x): out = F.relu(self.conv1(x)) # 继续前向传播... return out ``` #### 密集连接的设计理念 不同于传统的 CNN 架构，DenseFuse 引入了密集连接的思想，使得每层都可以直接接收到来自前面所有层的信息传递。这种设计有助于缓解梯度消失问题，并促进更深层次之间的信息交流。此外，它还能增强模型的学习能力和泛化性能。 #### 融合策略的选择 对于最终的图像融合过程，DenseFuse 设计了几种不同的融合策略供选择： - **加法策略**：简单地将两个源图像对应的像素值相加以获得新的强度分布； - **L1-Norm 策略**：计算两幅图片间绝对差值作为权重系数来进行线性组合； 这两种方案各有优劣，在实际应用中可以根据需求灵活选用合适的算法。 #### 训练流程概述 整个训练过程中，DenseFuse 使用 L1 Loss 来衡量重建误差，并借助 Adam Optimizer 进行参数更新。值得注意的是，由于采用了端到端的方式，所以无需额外的手动调整或预设条件即可完成高质量的结果输出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值