Matryoshka Multimodal Models

M3：嵌套多模态模型的视觉表示
最新推荐文章于 2025-11-25 12:11:01 发布
最新推荐文章于 2025-11-25 12:11:01 发布
阅读量125 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Daily Multimodal 文章标签： 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139443456
本文提出M3多模态模型，灵感来自俄罗斯套娃，学习将视觉内容表示为嵌套标记集，以适应不同粒度的信息。M3允许在推理时动态调整视觉粒度，提供效率与精度的平衡。实验表明，COCO基准测试仅需9个视觉标记就能达到类似全标记的准确性，同时揭示了性能提升的空间。

本文是LLM系列文章，针对《Matryoshka Multimodal Models》的翻译。

Matryoshka多模态模型

摘要

大型多模态模型（LMM），如LLaVA，在视觉语言推理中表现出了强大的性能。这些模型首先将图像嵌入到固定的大量视觉标记中，然后将它们输入到大型语言模型（LLM）中。然而，这种设计导致高分辨率图像和视频等密集视觉场景的token数量过多，导致效率低下。虽然存在token修剪和合并方法，但它们为每个图像产生单一长度的输出，并且不能在信息密度与效率之间进行灵活的权衡。受Matryoshka Dolls概念的启发，我们提出了 M 3 M^3 M

了解本专栏 订阅专栏 解锁全文 超级会员免费看
当俄罗斯套娃遇上交响乐团：解码Meta AI的“思想俄罗斯方块“
步子哥的博客
11-26 14
当Meta AI的科学家们将目光投向音视频语音识别（AVSR）——这个需要同时"听懂"声音和"读懂"嘴唇的艰巨任务时，他们发现了一个令人不安的真相：传统LLM就像一位贪婪的食客，对输入的"数据密度"有着永不满足的胃口。：Meta的MoME是"效率革命家"，HKUST的MOME是"医疗守护者"，Mixture of Multimodal Experts是"通用协调员"，Mixture of a Million Experts是"极限探险家"，而M-MoE则是"弹性训练师"。本文的主角，是前者。
Matryoshka Diffusion Model 套娃级联超分扩散模型 论文笔记
xiaozhi77的博客
11-08 900
扩散模型是生成高质量图像和视频的实用方法，但由于计算和优化的挑战，学习高维模型依然是一项艰巨的任务。现有方法通常采用在像素空间训练级联模型的方法，或者使用一个单独训练的自编码器的下采样潜在空间。本文提出了Matryoshka扩散模型，这是一个端到端的高分辨率图像和视频的合成框架。扩散过程即在多分辨率联合对输入进行降噪，并使用将小尺度输入的特征和参数嵌入大尺度输入中的NestedUNet架构。此外，MDM还支持从低分辨率到高分辨率的渐进式训练时间步（schedule），从而显著改善了的高分辨率生成的优化结果。
视觉理解和推理领域新突破-俄罗斯套娃（Matryoshka Multimodal Models）多模态模型
声纹感知 洞察芯声
06-03 1604
M3方法学习了在同一模型架构和权重下，学习多粒度、从粗糙到精细的标记表示，使其能够轻松调整以适应各种计算或内存限制。
AI-Compass Embedding模型模块：15+主流向量化技术的多模态语义表示生态，涵盖文本图像音频嵌入、RAG检索增强、向量数据库集成与工程化实践
丨汀、的博客
07-15 452
AI-Compass Embedding模型模块：15+主流向量化技术的多模态语义表示生态，涵盖文本图像音频嵌入、RAG检索增强、向量数据库集成与工程化实践
多模态大模型研究每日简报（2025-07-17）
shayuchaor的博客
07-18 662
在数据方面，RetinaLogos提出视网膜图像合成框架并构建140万条标注数据集，另有研究利用游戏代码生成多模态推理数据；训练策略上，GLAD框架通过梯度正则化提升模型泛化能力；应用层面，智能虚拟超声系统（IVS）实现医患机器人三方交互，放射学专用大模型MAIRA-2揭示内部表征机制；文生图技术方面，改进的MAR模型将推理步骤减少93%；安全领域提出AutoSteer框架增强多模态大模型防御能力。这些工作为医学影像、安防检测、人机交互等场景提供了新解决方案。
Jina Embeddings：高性能多模态向量模型的演进之路
拒绝AI玄学，只聊真技术▲
08-18 1292
Jina Embeddings 是由 Jina AI 研发的开源文本/多模态向量模型系列，旨在解决传统向量模型的三大瓶颈：往期文章推荐: 5. 总结与技术展望 Jina Embeddings 的核心贡献在于：
Jina CLIP v2：多语言多模态的文本图像向量模型
AI生成式技术曾小健
11-22 2664
为了全面评估图像分类性能，我们使用了涵盖多个领域的基准数据集，包括 VTAB（19 个基准测试）、VOC 2007、SUN397、STL10、Rendered SST2、ObjectNet、MNIST、GTSRB、FGVC-Aircraft、FER 2013、Country211、Cars196 以及 ImageNet 系列（A、O、1k、Sketch、v2）。表现出色，在检索任务和语义相似度任务中分别取得了 69.86% 和 67.77% 的高分，展现了其多功能性，和专门的文本向量模型。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 227
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 390
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
最新发布
2501_92808811的博客
11-25 282
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 400
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 380
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 496
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 286
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 73
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
宇树G1-D：人形机器人下一步方向！
Charlie_Mo的博客
11-21 1077
宇树科技推出G1-D人形机器人工作站全栈解决方案，实现从硬件平台向"硬件+数据+AI"生态平台升级。该方案以G1-D为核心载体，为AI模型开发提供强力支撑，可应用于制造业等场景，提升生产精度和效率。在AI技术快速发展的背景下，掌握基于G1-D的AI开发技能将增强就业竞争力。这一创新方案为行业搭建AI训练基础设施，推动技术进步，展现未来发展潜力。
强化学习人形机器人奖励函数分析
ModestCoder_的博客
11-23 1041
PPO (Proximal Policy Optimization) 是一种 Actor-Critic 架构算法。奖励函数是整个学习过程的指挥棒。学习预测未来的累积回报（Return）。用于处理物理限制的软约束，形式通常为单边损失（Hinge Loss）。，作为 Cost/Penalty 使用，用于约束能量和保持稳定。以下是代码中各个奖励项的数学表达及其物理含义分析。形式，旨在最大化机器人对指令的跟随精度。这种设计是现代机器人控制领域的标准范式。形式，在总奖励计算中通常会被赋予。
Nomic Embed v1.5 Matryoshka Representation Learning
07-13
Nomic Embed v1.5 中的 Matryoshka Representation Learning (MRL) 技术是一种先进的文本表示方法，它通过在不同维度上构建嵌入向量来增强模型的灵活性和适应性。该技术允许用户在使用过程中动态调整嵌入维度，从而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值