AlignGPT: Multi-modal Large Language Models with Adaptive Alignment Capability

最新推荐文章于 2025-06-11 12:06:04 发布
最新推荐文章于 2025-06-11 12:06:04 发布
阅读量245 收藏
点赞数 6
分类专栏： LLM Daily Multimodal LLM Alignment 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/143090183
版权

本文是LLM系列文章，针对《AlignGPT: Multi-modal Large Language Models with Adaptive Alignment Capability》的翻译。

AlignGPT：具有自适应对齐能力的多模态大型语言模型

摘要

多模态大语言模型（MLLMs）被广泛认为是通用人工智能（AGI）研究的关键。MLLM的核心在于其实现跨模态对齐的能力。为了实现这一目标，当前的MLLM通常遵循两个阶段的训练范式：预训练阶段和指令调优阶段。尽管取得了成功，但这些模型中对齐能力的建模仍存在不足。首先，在预训练阶段，模型通常假设所有图像文本对都是一致对齐的，但事实上不同图像文本对之间的对齐程度是不一致的。其次，目前用于微调的指令包含各种任务，不同任务的指令通常需要不同级别的对齐能力，但之前的MLLM忽略了这些差异化的对齐需求。为了解决这些问题，我们提出了一种新的多模态大型语言模型AlignGPT。在预训练阶段，我们不是平等对待所有图像文本对，而是为不同的图像文本对分配不同级别的对齐能力。然后，在指令调优阶段，我们自适应地组合这些不同级别的对齐能力，以满足不同指令的动态对齐需求。大量的实验结果表明，我们的模型在12个基准测试中取得了有竞争力的性能。

1 引言

2 相关工作

了解本专栏 订阅专栏 解锁全文 超级会员免费看
GPT-4论文精读【论文精读·53】
云淡风轻_的博客
03-02 2108
那接下来我们要说一个很有意思的东西，叫做steability，就是可以定义它的行为，让这个语言模型按照我们想要的方式去给我们这个答复。然后OpenAI来这里说，相比起这个 ChatGPT 来说， ChatGPT 的人格是固定的，就他每次都是同样的这种，就是语调语气，然后这个回复的风格也是非常一致的，所以说不一定是所有人都喜欢，也不一定回答到每个人的心坎儿里去。但是最新的这个 GPT 4 他们就开发了一个新功能，而这个新功能叫做 system message。
AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.05.20-2024.05.25
小小帅
05-28 2332
大型语言模型（LLM）的成功促进了多模态大型语言模型（MLLM）这一新的研究趋势，改变了计算机视觉各个领域的研究范式。虽然 MLLM 在许多高级视觉和视觉语言任务（如 VQA 和文本到图像）中取得了可喜的成果，但还没有研究表明低级视觉任务如何从 MLLM 中受益。我们发现，由于视觉模块的设计原因，目前大多数 MLLM 对低层次特征视而不见，因此本质上无法解决低层次视觉任务。在这项工作中，我们设计了。
LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一)之序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-05 6712
​ LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一)之序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力三种典型/六大关键技术+GPT系列技术演进)、资源(开源模型/闭源API+六类语料库+三种框架库) LLMs：大型语言模型发展综述—序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力三种典型/六大关键技术+GPT系列技术演进)、资源(开源模型/闭源API
ACL2023：LLM相关论文总结
weixin_52171642的博客
07-17 2923
上下文学习（ICL）通过在推理时简单地演示少量的例子来提高语言模型在各种NLP任务中的表现。人们对ICL能力出现的原因不是很了解，因为模型从来没有在这种演示上进行过专门的训练。与之前探索ICL背后的隐性机制的工作不同，我们通过调查预训练数据来研究ICL。具体来说，我们首先采用一种迭代的、基于梯度的方法来寻找支持ICL的一小部分预训练数据。我们观察到，在这个小的子集上继续进行预训练可以显著提高模型的ICL能力，提高幅度高达18%。
LLMs之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-08 2437
​ LLMs之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 目录 《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 Abstract 1 Introduction引言 2
计算机视觉论文-2021-09-07
中科院AI算法工程师的博客
09-07 3260
本专栏是计算机视觉方向论文收集积累，时间：2021年9月7日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Towards Expressive Communication with Internet Memes: A New Multimodal Conversation Dataset and Benchmark AUTHORS: Zh...
CVPR2025
weixin_45216013的博客
05-19 823
LVM\LLM\robotics确实是大热点，LVM\LLM多做下游任务，有部分微调的工作。robotics上面的任务非常繁杂。超出以外的是有非常多multi-view关键词的工作，个人猜想是否是因为2D CV的工作其实已经到一个好的阶段，但是总归要应用到3D中，因此探索multi-view：2D-3D-2D的过程是正在进行时出现了一些 Aerial-to-Ground关键词，并且有两篇是数据集贡献。
计算机视觉论文-2021-06-01
中科院AI算法工程师的博客
06-01 3853
本专栏是计算机视觉方向论文收集积累，时间：2021年5月1日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） ...
【AAAI 2025】 Local Conditional Controlling for Text-to-Image Diffusion Models
Joselynzhao
05-14 951
本文针对文本到图像扩散模型的局部控制问题，提出一种无需训练的推理阶段优化方法。现有全局控制（如ControlNet）无法灵活约束特定区域，直接添加局部条件会导致“局部控制主导”（图2），忽视非控制区域的文本对齐。作者设计了**区域判别损失（RDLoss）**（公式5）、**聚焦令牌响应（FTR）**（公式8）和**特征掩码约束（FMC）**（公式9）三大模块：RDLoss通过最大化局部/非局部注意力差异更新隐变量，FTR抑制弱响应令牌减少重复，FMC通过掩码控制ControlNet特征泄漏。实验表明
【ECCV2020】接收论文列表part1
TomRen
07-18 7064
ECCV2020 接收论文完整列表 看论文学CV
AAAI 2022 论文列表
热门推荐
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
生成式~扩散模型
whaosoft143ai的博客
02-02 1692
001 (2024-02-1) Distilling Conditional Diffusion Models for Offline Reinforcement Learning through Trajectory Stitching https://arxiv.org/pdf/2402.00807.pdf002 (2024-02-1) AnimateLCM Accelerating the Animation of Personalized Diffusion Models and Ad
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
yolo模型精度提升策略
qq_47798402的博客
06-09 633
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 558
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 316
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
简繁体智能翻译软件
weixin_62784879的博客
06-09 414
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 889
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来
最新发布
打造全国最全的AI Agent开发知识领域的博客
06-11 1191
大模型狂欢落幕，硬核创新登场！Transformer逼近能力天花板，Agent应用成落地新大陆，而架构层正孕育颠覆性突破。中国团队在云端与终端双轨并进，用稀疏注意力、端侧推理优化打开效率魔盒。告别内卷式数据堆砌，迎接深水区技术创新——这一篇，看懂AI未来十年胜负手！
MaPLe: Multi-modal Prompt Learning for Vision-Language Models
04-03
<think>好的，用户想了解关于Multi-modal Prompt Learning for Vision-Language Models（MaPLe）的研究或实现。首先，我需要回忆一下相关文献，特别是最近的多模态提示学习方法。用户提到了LAMM，这是一个标签对齐的方法，用于优化CLIP中的类标签嵌入。所以可能MaPLe也是类似的框架，但可能更强调多模态的联合优化。 接下来，我需要确认MaPLe的具体内容。根据之前的知识，CoOp和Co-CoOp等方法主要优化文本端的提示，而MaPLe可能同时在视觉和文本模态上进行提示学习。例如，在视觉分支插入可学习的提示向量，同时在文本端也进行类似的调整，这样能更好地对齐两个模态的特征。 然后，用户提到实现，可能需要提供一个代码示例。需要确保代码结构清晰，使用PyTorch框架，并参考CLIP的实现方式。比如，定义一个MaPLe类，包含视觉和文本编码器，并在两个分支中加入可训练的参数作为提示。 另外，用户提供的引用[1]是关于LAMM的，其中提到通过端到端训练优化标签嵌入，减少图像和类别表示之间的差距。这可能与MaPLe的分层损失或联合训练策略有关，需要将这些点整合到回答中，说明MaPLe如何结合现有方法进行改进。 还要考虑用户可能的深层需求，比如MaPLe相比其他方法的优势，实现时的关键点，以及应用场景。需要强调多模态联合提示带来的更好对齐，以及在少样本学习中的效果提升。 最后，生成相关问题时要围绕MaPLe的核心概念、实现细节、与其他方法的对比以及应用场景展开，确保问题具有针对性和延伸性，帮助用户进一步探索。</think>### Multi-modal Prompt Learning (MaPLe) 实现与研究解析 #### 核心概念 MaPLe通过**联合优化视觉与文本模态的提示向量**增强视觉-语言模型的迁移能力[^1]。与仅优化文本提示（如CoOp）或仅优化图像编码（如LAMM）的方法不同，MaPLe采用双路径结构： $$ \text{Visual Prompt}: V' = [P_v; V] \quad \text{Text Prompt}: T' = [P_t; T] $$ 其中$P_v$和$P_t$分别为视觉/文本模态的可学习提示符，$V$和$T$是原始特征。 #### 实现要点（基于PyTorch） ```python import torch import clip class MaPLe(torch.nn.Module): def __init__(self, n_ctx=4, class_names=None): super().__init__() self.model, _ = clip.load("ViT-B/32") # 视觉提示参数 self.visual_prompt = torch.nn.Parameter( torch.randn(1, n_ctx, 768)) # ViT-B通道维度 # 文本提示参数 ctx_dim = 512 # CLIP文本编码维度 self.text_prompt = torch.nn.Parameter( torch.randn(n_ctx, ctx_dim)) # 类别嵌入初始化 self.class_embeddings = torch.cat([ clip.tokenize(f"a photo of a {c}") for c in class_names ]) def forward(self, image): # 视觉提示处理 vit = self.model.visual x = vit.conv1(image) x = x + self.visual_prompt # 插入视觉提示 x = vit(x) # 后续ViT处理 # 文本提示处理 text_features = self.model.encode_text( torch.cat([self.text_prompt, self.class_embeddings])) return x @ text_features.T ``` #### 关键技术突破 1. **跨模态对齐机制**：通过分层损失函数同时约束： $$ \mathcal{L} = \alpha \mathcal{L}_{cls} + \beta \mathcal{L}_{align} $$ 其中$\mathcal{L}_{align}$使用对比损失缩小视觉-语义鸿沟 2. **参数高效性**：典型配置仅需训练0.1%的参数（ViT-B/32约0.8M可训练参数） 3. **零样本增强**：在ImageNet上实现： | 方法 | 准确率(1-shot) | 准确率(16-shot) | |------------|----------------|-----------------| | CLIP | 64.2% | 72.1% | | CoOp | 68.4% | 75.3% | | **MaPLe** | **71.7%** | **77.9%** | #### 应用场景 1. 少样本图像分类（医疗影像诊断） 2. 跨模态检索（电商图文匹配） 3. 开放词汇检测（自动驾驶场景理解）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值