An Introduction to Vision-Language Modeling

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 400+累计阅读 470平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄16年

关注

原创最新推荐文章于 2026-09-12 00:01:04 发布 470 阅读 AI 写同款· GEO 优化 ›

LLM Daily 同时被 2 个专栏收录

¥99.90 ¥299.90

3819篇文章

订阅专栏

超级会员免费看

本文是LLM系列文章，针对《An Introduction to Vision-Language Modeling》的翻译。

视觉语言建模导论

1 引言
2 VLM家族
3 VLM训练的引导
4 负责任VLM评估方法
5 扩展VLM到视频
6 结论

1 引言

2 VLM家族

2.1 基于Transformer的VLM早期工作

2.2 基于对比的VLMs

2.2.1 CLIP

2.3 带掩蔽目标的VLM

2.3.1 FLAVA

2.3.2 MaskVLM

2.3.3 VLM目标的信息论观点

2.4 基于生成的VLM

2.4.1 学习文本生成器的示例：CoCa

2.4.2 多模态生成模型的一个例子：Chameleon和CM3leon

2.4.3 使用生成的文本到图像模型进行下游视觉语言任务

2.5 预训练骨干的VLM

了解本专栏

订阅专栏解锁全文

超级会员免费看

收录于

Multimodal

当前文章被收录于：

Multimodal

244 篇文章 4 人学习

主要是跟踪多模态大模型的相关文章，作简要介绍和归纳整理。

订阅专栏查看详情

当前文章被以下社区和专栏收录：

标签

#语言模型 #人工智能 #自然语言处理

多模态vlm综述：An Introduction to Vision-Language Modeling 论文解读论文：这里主要整理了多模态的技术发展历程，没有一些实验对比的数据。VLM家族：1）对比训练是一种广泛应用的策略，它采用正面例子和负面例子的配对方式。视觉语言模型（VLM）通过这种方式被训练，以针对正面配对预测出相似的表示，同时对于负面配对则预测出不同的表示。2）掩码技术是另一种训练VLM的策略，它通过重构给定的未掩码文本字幕中缺失的部分来实现。类似地，通过在字幕中掩码词语，也可以训练VLM来重构给定未掩码图像中的这些词语。阅读详情

相关推荐

视觉语言模型导论：这篇论文能成为你进军VLM的第一步

近些年，语言建模领域进展非凡。Llama 或 ChatGPT 等许多大型语言模型（LLM）有能力解决多种不同的任务，它们也正在成为越来越常用的工具。这些模型之前基本都局限于文本输入，但现在也正在具备处理视觉输入的能力。如果能将视觉与语言打通，那么势必能造就多种多样的应用 —— 这实际上也正是当前 AI 技术革命的关键方向。即便现在已有不少研究将大型语言模型扩展到了视觉领域，但视觉与语言之间的连接尚未被彻底打通。

2401_85324918的博客 962

具身智能创新原理（47）：基于TVA-World动力学对齐与语义锚定迁移研究

本文针对具身智能Sim-to-Real迁移中的现实鸿沟问题，提出了基于TVA-World架构的动力学对齐与语义锚定迁移策略。研究表明，通过学习域不变的潜在动力学与语义特征，能够有效弥合仿真与现实的差异，实现高效、安全的策略迁移。这一成果为具身智能产业化提供了一套标准化的“仿真训练-现实部署”范式。未来的研究将聚焦于：一是探索更具泛化性的域随机化策略，自动生成覆盖现实长尾场景的仿真任务；二是研究在线持续学习机制，使智能体能够在真实部署过程中自主适应环境变化，实现终身学习。

专注AI智能体前沿技术探索，为企业提质降本增效全面赋能！ 261

视觉特征-自监督-掩码像素预测【2021-11】：SimMIM【一种用于掩码图像建模的简单框架】

¹ 清华大学²微软亚洲研究院⁸ 西安交通大学Abstract摘要本文提出了SimMIM，一个用于掩码图像建模的简单框架。我们简化了最近提出的相关方法，无需采用特殊设计，例如按块掩码以及通过离散VAE或聚类进行 tokenization。为了研究是什么使掩码图像建模任务能够学习到良好的表征，我们系统地研究了框架中的主要组件，并发现每个组件的简单设计都展现出非常强的表征学习性能：1)以适度较大的掩码 patch大小(例如32)对输入图像进行随机掩码，可构成一个强大的 pre-text 任务；

u013250861的博客 90

视觉特征-自监督-同源不同crop视图一致性【2021-04】：DINOv1【全局裁剪（覆盖原图较大区域）➜教师；全局&局部（覆盖原图较小区域）裁剪➜学生】【EMA学生来构建教师】【中心化&锐化】

在本文中，我们探讨自监督学习是否为 Vision Transformer (ViT) [19] 提供了区别于卷积网络（convnets）的新特性。除了将自监督方法适配到该架构后效果尤为出色这一事实之外，我们还提出以下观察：首先，自监督ViT特征包含有关图像语义分割的显式信息，而这种信息在有监督ViT和convnets中均不会如此清晰地出现。其次，这些特征也是出色的 k-NN 分类器，使用小型 ViT 在 ImageNet 上达到78.3%的top-1准确率。

u013250861的博客 299

告别手动打卡：逍遥模拟器+宥马运动自动跑步脚本配置全流程

本文详细介绍了如何利用逍遥模拟器和自动化脚本实现宥马运动的自动跑步功能，告别手动打卡的繁琐。从环境准备、脚本部署到定位配置和智能调度，全流程指导用户完成自动化设置，提升效率并确保运动数据的真实性。

weixin_42532473的博客 539

Containerd容器运行时的私有仓库镜像推送push和镜像拉取问题解决

向/etc/containerd/config.toml配置添加如下配置，然后重启containerd。向/etc/containerd/config.toml配置添加如下配置，然后重启containerd。通过crictl为k8s拉取镜像如下所示。可以通过ctr命令进行镜像推送。往私有仓库推送镜像如下。

Bulut0907 1万+

STM32单片机远程升级

stm32远程升级

fang_yang_wa的博客 1万+

滞回比较器电路详细分析

滞回比较器是一种用于检测两个不同电压值并使比较器输出高电平或低电平的电路。滞回比较器的特点是具有迟滞特性，即当输入电压高于某一阈值时，比较器输出高电平，当输入电压低于另一阈值时，比较器输出低电平，而在这两个阈值之间，比较器的输出保持不变。比较器通常有两个模拟电压输入端UIN+和UIN-以及一个数字状态输出端UOUT。当UIN+大于UIN-时，UOUT为高电平；当UIN+小于UIN-时，UOUT为低电平。根据具体的系统定义，这两种电位的具体数值可以有所不同。

LuDvei的博客 2万+

如何用YOLOv5改进无人机小目标检测？MFFSODNet实战教程（附代码）

本文详细介绍了如何利用YOLOv5框架结合MFFSODNet网络结构优化无人机航拍图像中的小目标检测。通过引入微小目标预测头、多尺度特征提取模块(MSFEM)和双向密集特征金字塔网络(BDFPN)等核心技术，显著提升了小目标检测精度。文章提供了完整的代码实现方案，并展示了在农业监测、电力巡检等实际场景中的应用效果。

sre5engineer的博客 738

一文带你了解什么是RDMA

RDMA（Remote Direct Memory Access，远程直接内存访问）是一种起源于高性能计算领域的通信技术，如今已广泛应用于数据中心。该技术使得用户程序能够绕过操作系统内核及CPU，直接与网络接口卡（NIC）交互，实现网络通信。这种方式不仅大幅提升了通信带宽，还显著降低了网络延迟，优化了整体性能。

嵌入式技术开发 6016

OpenClaw常见4大赋能工作场景

OpenClaw不仅仅是一个AI工具，更像是个人与企业的“数字操作系统”——它连接大模型与真实世界，让“思考”与“行动”无缝闭环。

王国平的博客 624

Spring AI Alibaba 1.x 源码分析-架构设计

本文通过分析Spring AI Alibaba 框架的源码，分析出其原理和架构设计，无论是用于项目开发、技术评估还是团队培训都具有重要价值。

program哲学 487

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明，包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...