Thirty-Eighth AAAI Conference on Artificial Intelligence, AAAI 2024中multi-modal论文汇总(前20)

多模态技术在多领域的研究进展
原创 已于 2024-10-11 21:16:01 修改 · 1.0k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习 #深度学习 #论文笔记

于 2024-10-11 10:39:36 首次发布

系列文章目录

文章目录

一、《A Multi-Modal Contrastive Diffusion Model for Therapeutic Peptide Generation.》治疗肽生成的多模态对比扩散模型。

治疗肽是一类独特的药物制剂，对人类疾病的治疗至关重要。近年来，深度生成模型在生成治疗肽方面显示出了巨大的潜力，但它们仅利用序列或结构信息，这阻碍了生成的性能。在这项研究中，我们提出了一个多模态对比扩散模型(MMCD)，在扩散框架中融合序列和结构模式，共同产生新的肽序列和结构。具体而言，MMCD分别构建了序列-模态和结构-模态扩散模型，并设计了在每个扩散时间步具有间对比和内对比的多模态对比学习策略，旨在捕捉两模态之间的一致性，提高模型性能。相互对比通过最大化其嵌入的一致性来对齐肽的序列和结构，而内部对比通过最大化其序列/结构嵌入的不一致来区分治疗和非治疗肽。广泛的实验表明，MMCD在多种指标(包括抗菌/抗癌评分、多样性和肽对接)上比其他最先进的深度生成方法在生成治疗性肽方面表现更好。
在这里插入图片描述

图1:MMCD的概述。MMCD由肽序列-结构共生成的扩散模型和多模态对比学习。扩散模型包括一个加入噪声的前向过程(q(·|·))和一个反向过程过程(p(·|·))在每个时间步长t进行去噪。反向过程利用变压器编码器(或EGNN)来提取来自序列S(或结构C)的嵌入，以及基于序列(或结构)的MLP将嵌入映射到边缘分布(或高斯)噪声。多模态CL包括Inter-CL和Intra-CL，其目的是对齐序列和构建嵌入，并区分治疗性和非治疗性肽嵌入。

二、《Local-Global Multi-Modal Distillation for Weakly-Supervised Temporal Video Grounding.》弱监督时域视频接地的局部-全局多模态精馏。

本文首次利用多模态视频进行弱监督时域视频接地。由于标记视频时刻是劳动密集型和主观性的，近年来，弱监督的方法越来越受到关注。然而，由于监督不足，这些方法本身可能会损害性能。因此，为了应对这一挑战，我们首次注意利用从多模态视频中提取的互补信息(例如，RGB帧，光流)，在弱监督环境中自然引入更丰富的监督。我们的动机是通过整合视频的不同模式，从协同监督中学习模型，从而获得更好的泛化能力。然而，处理多个模态†也将不可避免地引入额外的计算开销，并且如果无法访问特定模态，则可能变得不适用。为了解决这个问题，我们采用了一种新颖的方法:构建一个多模态蒸馏算法，利用多模态知识作为模型训练的监督，同时在推理过程中仍然能够只使用单一模态输入。因此，我们可以利用多模态的补充特性带来的好处，而不会影响其在实际场景中的适用性。具体来说，我们首先提出了一个跨模态相互学习框架，并训练了一个复杂的教师模型来从多模态视频中进行协作学习。然后，我们从教师模型中识别出两类知识，即时间边界和语义激活图。我们设计了一个局部-全局蒸馏算法，将这些知识转移到局部和全局水平的单模态输入的学生模型中。在大规模数据集上的大量实验表明，我们的方法在有/没有多模态输入的情况下实现了最先进的性能。
在这里插入图片描述

局部-全局多模态蒸馏(MMDist)综述它包括1)使用局部全局对比学习的单模态基线，2)在局部和全局级别使用多模态蒸馏算法的单模态学生模型，3)跨模态互学的多模态教师模式。深绿色代表的提案候选人那些被预测为积极的。

三、《Learning Multi-Modal Cross-Scale Deformable Transformer Network for Unregistered Hyperspectral Image Super-resolution.》非配准高光谱图像超分辨率的多模态跨尺度变形变压器网络学习。

高光谱图像超分辨率(HSI- sr)是一种提高高光谱图像空间分辨率的技术。现有的基于融合的SR方法表现出了较好的性能，但仍存在以下问题:1)现有方法假设提供空间信息的辅助图像与HSI严格配准，但由于拍摄平台、拍摄视点和大气湍流的影响，图像难以精细配准;2)大多数方法基于卷积神经网络(cnn)，对局部特征有效，但不能利用全局特征。为此，我们提出了一个多模态跨尺度变形变压器网络(M2DTN)来实现未注册的HSI-SR。具体而言，我们从实际退化场景出发，建立了基于频谱保持的空间引导配准- sr统一模型(SSRU)。根据SSRU，我们提出了多模态配准变形模块(MMRD)，通过形变场在不同模态之间对齐特征。为了有效利用不同模态之间的独特信息，我们设计了多尺度特征转换器(MSFT)来强调不同尺度下的空间光谱特征。此外，我们提出了跨尺度特征聚合模块(CSFA)，通过聚合不同尺度的特征信息来精确重构恒生指数。实验表明，M2DTN优于最先进的HSI-SR方法。代码可从https://github.com/Jiahuiqu/M2DTN获得。
在这里插入图片描述

M 2 D T N M^2DTN M2DTN概述。图中， i ∈ [ 0 , N ] i∈[0,N] i∈[0,N]表示刻度大小，对应的刻度 0 0 0号是最大的刻度。

四、《LAMM: Label Alignment for Multi-Modal Prompt Learning.》

详细内容

五、《Prompting Multi-Modal Image Segmentation with Semantic Grouping.》基于语义分组的多模态图像分割。

多模态图像分割是计算机视觉的核心问题之一。主要的挑战在于集成模式之间的公共信息，同时为每个模式保留特定的模式。现有的方法通常对基于rgb的预训练参数执行完全微调，以继承基础模型的强大表示。这种模式虽然有效，但由于可移植性弱和下游数据稀缺，并不是最优的。受近期语言

最低0.47元/天 解锁文章
A Multi-Modal Contrastive Diffusion Model for Therapeutic Peptide Generation论文阅读笔记
younger77的博客
11-07 1169
A Multi-Modal Contrastive Diffusion Model for Therapeutic Peptide Generation论文的阅读笔记，中文：用于治疗性肽生成的多模态对比扩散模型
一种用于治疗性肽生成的多模态对比扩散模型
Hanscal
08-21 1017
本文提出了一种名为MMCD的多模态对比扩散模型，该模型通过融合肽的序列和结构信息，在生成治疗性肽的任务中表现出优越性能，特别是在抗微生物和抗肿瘤肽的生成方面。论文题目： A Multi-Modal Contrastive Diffusion Model for Therapeutic Peptide Generation论文链接： https://arxiv.org/abs/2312.15665PS: 欢迎大家扫码关注公众号，我们一起在AI的世界中探索前行，期待共同进步！
AAAI2024 The Thirty-Eighth Conference on Artificial Intelligence
HelloWorld的博客
05-23 2万+
For information about past AAAI Conferences, please consult the following pages.https://aaai.org/conference/aaai/https://aaai.org/aaai-conference/2024 年 2 月在加拿大温哥华举行的第 38 届 AAAI 人工智能年度会议The 38th Annual AAAI Conference on Artificial IntelligenceMain Confere
AAAI论文解读|A Multi-Modal Contrastive Diffusion Model for Therapeutic Peptide Generation-water-merged
paixiaoxin的博客
02-19 925
本文提出了一种多模态对比扩散模型（MMCD），旨在共同生成治疗性肽的序列和结构。传统的深度生成模型（DGM）通常仅利用序列或结构信息，限制了生成性能。MMCD通过构建序列模态和结构模态的扩散模型，结合多模态对比学习策略，旨在捕获两种模态之间的一致性，从而提升模型性能。具体而言，模型通过互对比和内对比策略，分别对齐肽的序列和结构，并区分治疗性与非治疗性肽。实验结果表明，MMCD在抗菌/抗癌评分、多样性和肽对接等多个指标上均优于现有的深度生成方法，展示了其在治疗性肽生成中的有效性。
AAAI—24—Main—paper（关于Multi—Modal的全部文章摘要）
Conger_2002的博客
10-12 1011
我们生活在一个由多种模态（Multimodal）信息构成的世界，包括视觉信息、听觉信息、文本信息、嗅觉信息等等，当研究的问题或者数据集包含多种这样的模态信息时我们称之为多模态学习多模态机器学习旨在处理学习（视觉，听觉，语言等）不同模态融合交织的信息。
Expressing Objects Just Like Words:Recurrent Visual Embedding for Image-Text Matching（论文详细梳理）
qq_47984164的博客
11-06 829
DP-RNN首先通过text encoder and image encoder 提取单词特征和原始图像特征，之后，在对图像的对象重新排序后，我们将对象特征以与单词特征相同的方式馈送到另一个双向GRU层，提取新的对象特征。特别是，给定一个输入Image-Text pair，作者提出的模型能够根据 Image object 在Text 中最相关的单词的位置对图像对象重新排序，并由RNN编码。用Faster R-CNN来提出显著区域，将每个突出区域视为一个对象，对于图像I，我们提取一组对象{O1，O2，…
【论文解读】AAAI-2023图对比学习论文MA-GCL
qq_51072801的博客
03-20 1378
在本文中，我们强调了先前GCL方法的一个关键的局限，即它们的对比视图过于接近，无法有效地过滤噪声。然后，我们提出了模型增强，它专注于操纵视图编码器的神经结构，而不是干扰图输入或模型参数。非对称、随机和洗牌，它们分别有助于缓解高频噪声、丰富训练实例和带来更安全的增强。通过这三种技巧，两个对比视图可以保持适当的距离，即既不能太远(失去与任务相关的语义)，也不能太近(引入不必要的噪声)。
thirty-second-viewer:30秒定时图像查看器，可以离线运行。 这是作为艺术家和插画家的手势锻炼工具而制成的
05-27
三十秒观看者 30秒定时图像查看器，可以离线运行。 这是为艺术家和插画家设计的一种手势锻炼工具。 可以针对不同的练习目的调整时间间隔。 30秒查看器的屏幕截图。... 在浏览器中打开该文件时，可以找到最新的说明。
Multi-Modal RAG 多模态检索如何实现呢？
weixin_69415739的博客
06-25 1444
许多文档包含混合内容类型，包括图像和文本。然而，在大多数 RAG 应用程序中，图像中捕获的信息丢失了。随着多模态LLMs（如 GPT4-V、LLaVA 或 FUYU-8b）的出现，值得考虑如何在 RAG 流程中利用图像。在 RAG 中利用多模态模型的选项很少Option 3在这里我们将实现3。
【视频定位】Local-Global Multi-Modal Distillation for Weakly-Supervised Temporal Video Grounding
L1783516140的博客
07-14 999
本文首次利用多模态视频进行弱监督的时序视频定位。由于标记视频时刻是耗费劳动和主观性的，近年来，弱监督的方法越来越受到关注。然而，由于监督不足，这些方法本身可能会损害性能。因此，为了应对这一挑战，我们首次将注意力放到利用从多模态视频中提取的互补信息(例如，RGB帧，光流)，在弱监督环境中自然地引入更丰富的监督。我们的动机是通过整合视频的不同模态，从协同监督中学习模型，从而获得更好的泛化能力。然而，处理多个模态也将不可避免地引入额外的计算开销，并且在一个未知的特定模态中可能变得不适用。
Generative-based Fusion Mechanism forMulti-Modal Tracking
peer_hellojio的博客
02-29 465
然而，尽管近年来出现了多个多模态数据集 [4]、[12]、[15]，其中包含在不到 1000 个场景中捕获的约 1000 个视频，但与广泛使用的数据集相比，仍然存在显着的多样性差距训练 GM，例如 CelebA[16]。然而，尽管近年来出现了多个多模态数据集 [4]、[12]、[15]，其中包含在不到 1000 个场景中捕获的约 1000 个视频，但与广泛使用的数据集相比，仍然存在显着的多样性差距训练 GM，例如 CelebA[16]。我们探索以生成方法解决多模式跟踪的信息融合部分的潜力。
生成式~扩散模型
whaosoft143ai的博客
02-02 1958
001 (2024-02-1) Distilling Conditional Diffusion Models for Offline Reinforcement Learning through Trajectory Stitching https://arxiv.org/pdf/2402.00807.pdf002 (2024-02-1) AnimateLCM Accelerating the Animation of Personalized Diffusion Models and Ad
爆炸！最新150篇！2024年1月diffusion生成扩散模型论文汇总
idol24的博客
02-02 1659
001 (2024-02-1) Distilling Conditional Diffusion Models for Offline Reinforcement Learning through Trajectory Stitching https://arxiv.org/pdf/2402.00807.pdf002 (2024-02-1) AnimateLCM Accelerati...
AAAI2024最佳解读|Generative-based Fusion Mechanism for Multi-Modal Tracking-water-merged
paixiaoxin的博客
03-10 429
本文提出了一种新颖的基于生成模型的融合机制（GMMT），旨在解决多模态跟踪中的信息融合问题。尽管生成模型（GMs）在实现全面理解方面表现出色，但其在多模态跟踪中的应用尚未得到充分探索。本文深入探讨了条件生成对抗网络（CGANs）和扩散模型（DMs）这两种生成模型技术。与传统的融合过程不同，GMMT将多模态特征与随机噪声结合，从而有效地将原始训练样本转化为更具挑战性的实例。
Local-Global Multi-Modal Distillation for Weakly-Supervised Temporal Video Grounding 论文阅读
weixin_44609958的博客
09-12 1203
本论文首次利用多模态视频进行弱监督的时间视频定位。由于对视频片段进行标注非常费时且主观，弱监督方法近年来受到越来越多的关注。然而，由于监督不足，这些方法本质上可能会影响性能表现。为了解决这一挑战，我们首次关注于利用从多模态视频（如 RGB 帧、光流）中提取的互补信息，在弱监督的背景下引入更丰富的监督。我们的动机是通过整合视频的不同模态，模型可以从协同监督中学习，从而获得更强的泛化能力。然而，处理多个模态不可避免地会增加额外的计算开销，并且在某些特定模态无法访问的情况下可能变得不可行。
RFNet: Region-aware Fusion Network for Incomplete Multi-modal Brain Tumor Segmentation
weixin_42489272的博客
10-30 960
提出了一种用于不完全多模式脑肿瘤分割的区域感知融合网络（RFNet）。通过明确考虑模态和区域之间的关系，引入了一种新的区域感知融合模块（RFM）。在RFM的帮助下，RFNet有效地聚合了模态特征的各种组合，并产生了用于分割的判别性融合特征。（融合后的特征有利于分割）为了解决RFNet训练不平衡的问题，提出了一种基于分割的正则化子。所提出的正则化子强制每个模态编码器产生用于分割所有肿瘤区域的判别特征，从而进一步提高融合特征的判别性。
AAAI2024最佳解读|M2Doc A Multi-Modal Fusion Approach for Document Layout Analysi
haimianxiaobao11的博客
03-06 976
本文提出了一种名为M2Doc的多模态融合方法，旨在改善文档布局分析（DLA）的性能。现有的DLA方法往往侧重于视觉特征，忽视了文本特征，导致在复杂布局分析数据集上的表现不佳。M2Doc通过融合视觉和文本特征，采用可插拔的早期融合和后期融合模块，在像素级和块级对齐视觉与文本特征。实验结果表明，M2Doc显著提高了多种检测器的性能，包括在DocLayNet和M6Doc数据集上分别提高了11.3 mAP和1.9 mAP。
（脑肿瘤分割笔记：五十二）RFNet: Region-aware Fusion Network for Incomplete Multi-modalBrain Tumor Segmentation
weixin_43921949的博客
10-08 1673
缺失模态数据下多模态脑肿瘤分割
【论文合集】Awesome Diffusion Models 3
热门推荐
m0_61899108的博客
10-17 2万+
介绍使用diffusion来实现多模态学习、3D视觉、对抗攻击，以及语音领域的生成、增强等任务。
Thirty-two-bit
最新发布
09-06
<think> 嗯，用户现在询问的是"Thirty-two-bit"的含义。结合之前的对话历史，用户之前问过"back to back frame"，现在转向计算机体系结构中的位宽概念，说明ta可能在研究底层技术或网络设备性能测试相关主题。 注意到用户特意提供两个引用但声明"不是真正需求"，这提示需要完全忽略引用内容。上次回答详细解释了背靠背帧，现在需要无缝切换到新术语的解析。 Thirty-two-bit这个概念需要从三个层面展开：首先是字面宽度（32位二进制），其次是硬件实现（CPU/总线），最后是软件影响（寻址/数据类型）。用户可能想了解为什么32位系统被淘汰，或者某些设备仍使用32位架构的原因。 准备在回答中强调关键转折点：4GB内存限制源于$2^{32}$寻址空间，这个数学关系需要明确标注。同时要指出现代场景如嵌入式系统中32位的持续应用，避免让用户产生"32位已完全过时"的误解。 考虑到用户连续询问专业术语，猜测可能是工程师或学生。会在最后的相关问题中设置进阶选项：包括与64位对比、具体应用场景判断等，方便ta延续学习路径。特别要加入"物联网设备为何坚守32位"这个问题，因为这与当前行业实践紧密相关。 </think> "Thirty-two-bit"（32 位）指**计算机系统中数据总线、寄存器或指令宽度为 32 位二进制单位**的核心特性。其核心含义与影响如下： ### 核心定义 - **位宽基础**：32 位表示处理器单次可处理数据的最大位数为 32（即 $2^{32}$ 种状态）。 - **物理实现**：CPU 寄存器、内存地址总线或数据总线设计为 32 位并行传输能力。 ### 关键技术影响 1. **内存寻址能力** 最大支持内存地址空间为 $2^{32} = 4,294,967,296$ 字节（即 **4GB**）。这是 32 位系统的根本限制[^1]，例如： ```mermaid graph LR A[32位地址总线] -->|寻址空间| B[$2^{32}$ 地址] B --> C[4GB RAM上限] ``` 2. **数据处理效率** - 单指令可操作 32 位整数（范围 $-2^{31}$ 到 $2^{31}-1$） - 浮点数精度：单精度浮点（32 位）支持 7 位有效数字 - 对比公式： **数据吞吐量** = 总线频率 × 位宽 / 传输周期 例如 100MHz 32 位总线理论带宽 = $100 \times 10^6 \times 32 / 8$ = **400MB/s** 3. **兼容性特征** | 项目 | 32位系统 | 64位系统 | |---------------|--------------------------|--------------------------| | 操作系统 | Windows XP, Linux i386 | Windows x64, Linux x86_64| | 软件运行 | 专属32位程序 | 可兼容运行32位程序 | | 驱动要求 | 需32位专用驱动 | 需64位专用驱动 | ### 典型应用场景 - **遗留系统**：工业控制设备、ATM 机等专用设备 - **嵌入式领域**：微控制器（如 ARM Cortex-M 系列）[^2] - **移动端历史**：早期智能手机（2013 年前 Android/iOS 设备） > **示例**：Windows 7 32 位版即使安装 8GB 物理内存，实际可用内存仍被限制在约 3.5GB，这是地址空间上限的直接体现[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值