An Introduction to Vision-Language Modeling

最新推荐文章于 2025-11-25 12:11:01 发布
最新推荐文章于 2025-11-25 12:11:01 发布
阅读量378 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Daily Multimodal 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139443804
本文介绍了视觉语言建模（VLM）的不同方法，包括基于Transformer的早期工作、对比学习如CLIP、掩蔽目标的VLM如FLAVA、生成模型如CoCa，以及预训练骨干模型。还讨论了VLM的训练策略、数据处理、评估方法和向视频扩展的挑战。

本文是LLM系列文章，针对《An Introduction to Vision-Language Modeling》的翻译。

视觉语言建模导论

1 引言

2 VLM家族

2.1 基于Transformer的VLM早期工作

2.2 基于对比的VLMs

2.2.1 CLIP

2.3 带掩蔽目标的VLM

2.3.1 FLAVA

2.3.2 MaskVLM

2.3.3 VLM目标的信息论观点

2.4 基于生成的VLM

2.4.1 学习文本生成器的示例：CoCa

2.4.2 多模态生成模型的一个例子：Chameleon和CM3leon

2.4.3 使用生成的文本到图像模型进行下游视觉语言任务

2.5 预训练骨干的VLM

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【综述】An Introduction to Vision-Language Modeling【一】
weixin_46231495的博客
03-14 1195
其中 𝑥𝑖 是从数据分布中采样的，而 𝑥𝑗∼𝑝𝑛(𝑥)，𝑗≠𝑖 是从噪声分布中采样的：InfoNCE损失不是简单地预测一个二元值，而是利用如余弦相似度这样的距离度量，在模型的表示空间中进行计算。这就需要计算正样本对之间的距离，以及所有负样本对之间的距离。通过Softmax函数，模型学习预测在表示空间中最相近的一对样本，同时将较低的概率赋予其他所有的负样本对。
【VLM小白指北 (1) 】An Introduction to Vision-Language Modeling
这个博客太懒了什么都没说
09-22 1360
开一个新坑Vision-Language Modeling (VLM) ，原文76页，慢慢更，for beginners，但也不能之前啥都不会啊。
【综述】An Introduction to Vision-Language Modeling【二】
weixin_46231495的博客
03-14 1109
该文章对视觉语言模型进行介绍，解释了什么是视觉语言模型，怎么训练的，如果基于各种研究目标来有效评估它。这项工作不是一个现有工作的综述，而是对视觉语言模型进行清晰易理解的介绍，以便更好入门。1、首先介绍了几种训练范式。对比学习、基于掩码策略、生成式、基于预训练骨干网络。2、然后提出了训练 VLM 的典型方法。例如：鉴于不同的研究目标，哪些数据集是合适的？哪种数据管理策略？是否需要训练文本编码器还是可以利用预训练的LLM？对比损失对于视觉理解是否足够？生成组件是否关键？
多模态vlm综述：An Introduction to Vision-Language Modeling 论文解读
samoyan的博客,记录技术成长~
06-06 6869
论文：这里主要整理了多模态的技术发展历程，没有一些实验对比的数据。VLM家族：1）对比训练是一种广泛应用的策略，它采用正面例子和负面例子的配对方式。视觉语言模型（VLM）通过这种方式被训练，以针对正面配对预测出相似的表示，同时对于负面配对则预测出不同的表示。2）掩码技术是另一种训练VLM的策略，它通过重构给定的未掩码文本字幕中缺失的部分来实现。类似地，通过在字幕中掩码词语，也可以训练VLM来重构给定未掩码图像中的这些词语。
视觉语言模型导论：这篇论文能成为你进军VLM的第一步
2401_85324918的博客
07-11 807
近些年，语言建模领域进展非凡。Llama 或 ChatGPT 等许多大型语言模型（LLM）有能力解决多种不同的任务，它们也正在成为越来越常用的工具。这些模型之前基本都局限于文本输入，但现在也正在具备处理视觉输入的能力。如果能将视觉与语言打通，那么势必能造就多种多样的应用 —— 这实际上也正是当前 AI 技术革命的关键方向。即便现在已有不少研究将大型语言模型扩展到了视觉领域，但视觉与语言之间的连接尚未被彻底打通。
Arxiv AI 综述列表（2024.05.27~2024.05.31）& VLM
qq_44681809的博客
05-31 1104
随着大型语言模型（LLM）近来的流行，人们已经尝试将它们扩展到视觉领域。从拥有可视化助手指导我们穿越陌生环境到仅使用高级文本描述生成图像的生成模型，视觉语言模型（VLM）的应用将显著影响我们与技术的关系。然而，有许多挑战需要解决，以提高这些模型的可靠性。虽然语言是离散的，但视觉在一个更高维度的空间中演化，其中概念并不总是容易离散化的。为了更好地理解将视觉映射到语言背后的机制，我们介绍了这个视觉语言模型（VLM）的简介，希望能帮助任何希望进入该领域的人。
传神论文中心｜第11期人工智能领域论文推荐
OpenCSG的博客
06-12 1012
实验证明，该方法在 38 个数据集上的性能与 Transformer 相当，但在时间和内存效率上更具优势，为注意力机制的设计和应用提供了新的思路。传神社区注意到这篇文章中有以下亮点：《Financial Statement Analysis with LLMs》探讨了大型语言模型（LLMs）在财务报表分析中的应用，表明这些模型能够生成有价值的见解，尤其在趋势分析和财务比率计算方面。实验表明，Aya23 在所关注的语言上取得了显著的性能提升，为特定多语言任务提供了更高效和准确的解决方案。
【多模态】13、Vision-Language 模型在视觉任务中的调研
呆呆的猫的博客
06-17 3070
本文主要介绍了 vision-language 模型在视觉任务中的使用
【Paper】 An Introduction to Vision-Language-Modeling
jaysszhou的博客
04-21 575
Visual-Language-Model 入门，什么是VLM，有哪些VLMs
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 218
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 333
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
最新发布
2501_92808811的博客
11-25 244
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
weisheng00的博客
11-24 744
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 386
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 314
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 494
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 259
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 61
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
宇树G1-D：人形机器人下一步方向！
Charlie_Mo的博客
11-21 1065
宇树科技推出G1-D人形机器人工作站全栈解决方案，实现从硬件平台向"硬件+数据+AI"生态平台升级。该方案以G1-D为核心载体，为AI模型开发提供强力支撑，可应用于制造业等场景，提升生产精度和效率。在AI技术快速发展的背景下，掌握基于G1-D的AI开发技能将增强就业竞争力。这一创新方案为行业搭建AI训练基础设施，推动技术进步，展现未来发展潜力。
bi-vldoc: bidirectional vision-language modeling for visually-rich document
09-16
bi-vldoc是一种用于视觉丰富文档的双向视觉-语言建模方法。 bi-vldoc通过将视觉信息与语言信息结合起来，能够有效地处理视觉丰富的文档。传统的自然语言处理方法通常只处理文本信息，忽视了文档中的视觉元素。而bi-vldoc能够同时考虑文本和图像，并将它们作为输入进行建模，从而更全面地理解和分析文档内容。 bi-vldoc的关键思想是利用双向建模技术。它使用了两个模型：一个是基于视觉的模型，另一个是基于语言的模型。这两个模型相互配合，通过互相补充的方式提高了整体的建模效果。 基于视觉的模型主要用于从图像中提取视觉特征，并将其编码为向量表示。这些向量表示包含了图像的语义信息，能够用于理解图像中的内容。 基于语言的模型主要用于处理文本信息。它能够将文本编码为向量表示，并用于生成关于文本的预测。 在训练时，bi-vldoc使用了大量的带有标注的视觉丰富文档数据集。通过最大化真实标注的概率来训练模型，使其能够根据给定的文档内容生成正确的视觉和语言输出。 bi-vldoc在实际应用中具有广泛的应用前景。例如，在图像描述生成中，它可以根据图像内容生成相关的文本描述。在问答系统中，它可以回答关于图像内容的问题。此外，bi-vldoc还可以应用于文档分类、信息检索等领域，提供更准确和全面的分析和理解能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值