VIT, LLM, VLM, VLA的区别

原创 于 2025-10-16 11:44:48 发布 · 225 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ai

部署运行你感兴趣的模型镜像
模型模型全称技术领域输入输出应用代表
VITVition Transformer计算机视觉图像图像类别、目标框等图像分类、图像分割、目标检测等VIT, Swin Transformer
LLMLarge Language Model自然语言处理文本文本智能客服、内容创作ChatGPT, LLaMA, Deekseek, Qwen
VLMVision Language Model多模态图像+文本文本图像描述、视觉问答、多模态检索CLIP, LLaVA
VLAVision Language Action Model具身智能图像+文本动作执行机器人、机器狗、自动驾驶agent

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

从VLM到VLA概论
xiaomu_347的博客
12-27 1348
智驾视觉大模型
【具身智能算法入门】VLM/VLA 算法入门指南
kakaZhui的博客
05-10 1597
人工智能的浪潮正从纯粹的语言理解和生成，涌向更广阔、更复杂的具身智能 (Embodied AI)领域。我们不再满足于让 AI 在数字世界中处理文本，而是期望它们能够感知物理世界、理解多模态信息、并基于此进行决策和行动。在这个激动人心的前沿，视觉语言模型 (Vision-Language Models, VLM)和视觉语言 Agent (Vision-Language Agents, VLA)扮演着核心角色。
梳理几个概念，弄懂具身智能发展主线：LLM、VLM、VLA，以及端到端模型，非常详细建议收藏！
最新发布
libaiup的博客
08-04 1774
本文系统梳理了从LLM到具身智能的AGI发展路径。首先介绍了单模态LLM在文本处理上的优势，然后分析了多模态VLM如何融合视觉与语言理解能力。重点讨论了VLA模型通过增加"行动"模态，实现了AI与物理世界的交互能力。文章指出端到端训练是具身智能发展的关键方法，强调VLA模型集认知、感知和行动于一体，为AGI奠定基础。最后提供了AI大模型学习资源包的信息，包含从入门到进阶的全套学习资料。
极客说｜从 ViT 到 VLM：视觉建模的演进与多模态交互
微软技术栈
06-16 1101
计算机视觉领域从传统的卷积神经网络（CNN）ResNet，到基于 Transformer 思想的 Vision Transformer（ViT），再到在跨模态语义对齐上大放异彩的 CLIP，直至如今具备复杂交互与生成能力的视觉语言模型（VLM），视觉建模正一步步向多模态、交互化、生成化的方向演进。（5）这种设计不仅赋予模型强大的视觉感知能力，同时结合文本生成模块，Florence-2 能够通过简单的 prompt（例如""表示目标检测）来执行复杂的视觉任务，涵盖图像描述、目标检测、对象分割等多种视觉场景。
具身智能端到端大模型VLA (Vision Language Action)
热门推荐
具身智能机器人
01-06 1万+
在语言为条件的机器人任务中，策略必须具备理解语言指令、视觉感知环境并生成适当动作的能力，这就需要VLA的。例如，在自动驾驶领域，传统的做法是将感知、预测、规划等步骤分开处理，而VLA则试图用一个统一的框架来替代这种分立的方法。另外，VLA的模型对于算力的需求很大，单片AI算力1000Tops的Thor大概率会延期发布，加上英伟达芯片的量产时间与成本挑战，以及在国内的应用情况，对车企而言是个大问题。以谷歌DeepMind推出的RT-2为例，该模型可以在新的物体、背景和环境中表现出显著改善的性能。
VLA、LLM和VLM
qq_50857609的博客
01-08 6174
2023年7月28日，谷歌DeepMind发布了全球首个控制机器人的视觉语言动作（VLA）模型RT-2，这个模型是在视觉语言模型（VLM）的基础上发展而来的，它利用了机器人或汽车运动轨迹的数据，进一步训练这些现有的VLM，以输出可用于机器人或汽车控制的动作序列。指的是大型语言模型，这些模型在自然语言处理（NLP）领域取得了显著的进展，能够理解和生成自然语言文本。VLM是VLA模型的基础，它为VLA提供了视觉和语言的融合能力，使得模型能够理解视觉内容并将其与语言指令相结合，以执行复杂的任务。
从“看懂”到“行动”： VLM 与 VLA
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
06-19 3031
如果说 VLM 是让机器拥有了聪明的“眼睛和大脑”，那么 VLA 就是为这台机器装上了反应敏捷的“小脑和四肢”。VLA 的核心使命，是将 VLM 产生的丰富世界理解，转化为在物理世界中精准、合理、安全的。扩散模型**等先进的生成技术，将抽象的理解转化为具体的、概率性的、多模态的动作序列。VLA 的出现，首先是一场思想上的革命，即从“模块化”转向“端到端”。VLA 的终极形态，将是在内部构建一个可以模拟物理世界的“沙盒”，即。现在，一张完整的图片就变成了一系列“视觉词汇”组成的“句子”。
开源自动驾驶VLM/VLA！基于任意大模型的视觉推理
qq_50213874的博客
05-31 1422
视觉语言模型（VLMs）因其强大的推理能力，在自动驾驶领域受到日益广泛的关注。然而，现有VLMs通常采用针对特定场景设计的离散文本思维链（Chain-of-Thought, CoT），这种表征本质上是对视觉信息的高度抽象和符号化压缩，可能导致空间-时间关系模糊以及细粒度信息丢失。自动驾驶是否更适合通过真实世界模拟与想象建模，而非纯粹依赖符号逻辑？本文提出一种时空思维链（spatio-temporal CoT）推理方法，使模型可视化地思考。首先，VLM作为世界模型生成统一图像帧以预测未来世界状态：其中感知结果
VLA技术介绍
weixin_50518899的博客
07-14 8252
2023年7月28日，Google DeepMind发布Robotic Transformer 2(RT-2)，是一种新颖的模型，可以从网络和机器人数据中学习，并将这些知识转化为机器人控制的通用指令。视觉-语言-动作模型 (VLA)是一种多模态，一些模型专注于通过预训练来改进特定组件。其他模型则旨在开发善于预测低级动作的控制策略。某些 VLA 充当高级任务规划器，能够将长期任务分解为可执行的子任务。过去几年，大量 VLA 应运而生，体现了​​具身智能的快速发展。
端到端自动驾驶VLA模型：技术解析与模型设计
a8598671的博客
03-26 3114
目前大语言模型较为成熟，因此无论是VLM或者VLA模型都是以大语言模型为基础的。MLLMs 拥有两大优势：一是训练数据来自大规模互联网，拥有广泛的“世界知识”；二是具备强大的推理能力（如 CoT chain-of-thought），这是现有驾驶模型难以具备的。EMMA 基于多模态大语言模型构建，能够直接将原始摄像头传感器数据映射为多种驾驶相关输出，包括规划轨迹、感知目标以及道路图结构等。
学习端到端大模型，还不太明白VLM和VLA的区别。。。
CV_Autobot的博客
06-19 2171
2、VLA更侧重Action的能力，最终目的是为了做动作，在自动驾驶中可以理解为自车轨迹预测的能力，通时预测的轨迹又要尽可能的符合人类的理解，这又进一步依赖vision和language的基本能力，比如我要解释这个行为，可以使用思维链的形式一步步推理分析，这里面依赖自动驾驶基础的感知（行人在哪里，2D坐标，3D位置等等）VLM接扩散模型就可以预测轨迹，也就是Action，这块就涉及到多模轨迹的好处了，面对不确定的环境，单模的能力有限，多模的上限是更高的。业内最全的全栈学习路线图，独家业内招聘信息分享~
VLM与VLA的区别是什么？当前自动驾驶落地的情况怎么样？
CV_Autobot的博客
02-26 2318
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线去年理想对外展示快慢系统后，VLM在自驾的应用落地正式对外展露。今年智驾行业又在主推VLA，相比于端到端+VLM方式，VLA方案拥有更高的场景推理能力与泛化能力。不少智驾领导者都将VLA视为当下“端到端”方案的2.0版本，VLA也被看成是端到端+VLM的合体。VLM关注的重点在于环境建模，VLA除了考虑环境建模...
具身智能机器人实现新里程碑！新型3D世界模型问世
weixin_44887311的博客
04-05 1971
通过在大规模3D数据上预训练从RGB-D到RGB-D、从点云到点云的扩散模型，并学习语言-视觉-动作三者的联合分布，3D-VLA能根据输入的文本指令和环境表征，直接采样生成可感知的未来状态。具体而言，该模型以3D-LLM（3D大语言模型）为骨干，通过在其词表中引入一系列交互令牌，如场景、物体、动作等，增强了模型与3D环境互动的能力。通过预训练RGB-D到RGB-D、点云到点云的扩散模型，并用对齐器将其与语言编码器的输出对齐，3D-VLA能根据指令灵活地想象未来图像、深度图、点云等表征。
VLM/VLA模型训练与评估指南：13大开源数据集，轻松入门，记得收藏！
2401_85375151的博客
06-24 2141
本文系统梳理了自动驾驶领域视觉语言大模型（VLM）的技术框架和发展现状。典型VLM包含视觉编码器、驾驶适配器、文本编码器和LLM核心四大组件，而视觉语言驾驶模型（VLA）额外集成扩散式轨迹规划器。当前技术突破主要体现在：1）高质量数据构建，如小米通过310万驾驶数据训练Qwen2.5-VL模型；2）多阶段训练策略，包括监督微调和强化学习；3）专用评估体系发展，如DriveMLLM、AD2-Bench等基准测试。研究表明，融合场景描述、交通信号检测等6类QA问答能显著提升模型性能。
VLM和VLAM（VLA）相关介绍和发展历程
qq_30708051的博客
12-28 5829
相关介绍和发展历程的内容来自于通义大模型，还是让大模型总结整理比较方便。视觉语言模型（VLM）和视觉语言动作模型（VLA）是近年来在人工智能领域内取得显著进展的两个概念，它们的发展历程反映了多模态学习的进步，特别是在结合视觉、语言和机器人动作方面。
【多模态LLM】以ViT进行视觉表征的多模态模型1（BLIP、BLIP-2、InstructBLIP）
发现问题，并解决问题，批判性思维
07-01 3564
- CLIP和BLIP的区别： - CLIP：通过对比学习联合训练，预测图像和文本之间的匹配关系。即使用双塔结构，分别对图像和文本编码，然后通过计算cos进行图文匹配。 - BLIP：包括两个单模态编码器（图像编码器和文本编码器）、一个图像基础的文本编码器和一个图像基础的文本解码器。BLIP通过联合训练三个损失函数：图像-文本对比损失（ITC）、图像-文本匹配损失（ITM）和语言建模损失（LM），以实现多任务学习和迁移学习。 - 训练方式的区别：除了对比学习，BLIP还采用了一种高效率利用噪声网络数据
VLA模型（具身智能入门十）
weixin_39699362的博客
07-17 5548
Vision Language Action（VLA）模型VLA模型是机器人领域的“感知-理解-执行”一体化框架，通过Transformer架构融合视觉、语言、动作模态，核心目标是让机器人在自然语言驱动下，自主完成复杂操控任务。其定义的核心在于“跨模态统一”与“具象化行动”——不仅能“看懂”“听懂”，更能“做出正确的动作”，是实现通用机器人智能的关键方向。提供通用序列建模骨架，让视觉、语言、动作能以“序列”形式统一处理；ViT将视觉输入转换为序列特征，提供“看”的能力；LLMs。
职场与思考 | 聊聊VLM/VLA和智驾新技术
CV_Autobot的博客
01-17 1343
作者|么么牛编辑| 自动驾驶之心原文链接：https://zhuanlan.zhihu.com/p/17866772378点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『大模型』技术交流群本文只做学术分享，如有侵权，联系删文VLM和VLA的区别，有点想以像L2功能，LDW和LKA，FCW和AEB的区别，一个是只...
Robotics+VLM 和 VLA区别是什么
04-01
### VLM 和 VLA 在机器人学中的区别 在机器人技术领域中，视觉语言模型 (Visual Language Model, VLM) 和视觉定位与映射 (Visual Localization and Mapping, VLA) 是两个不同的概念和技术方向。 #### 视觉语言模型 (VLM) 视觉语言模型是一种多模态的人工智能方法，它结合了自然语言处理和计算机视觉的能力。这种模型能够理解图像或视频的内容并将其与文本描述关联起来。例如，在给定一张图片的情况下，VLM 可以生成相应的文字说明或者根据一段文字找到匹配的图像[^1]。因此，VLM 主要用于解决涉及跨模态理解和生成的任务，比如图文检索、视觉问答以及场景解释等应用。 ```python from transformers import CLIPProcessor, CLIPModel model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32") processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32") image = ... # load image here text = ["a photo of a cat", "a photo of a dog"] inputs = processor(text=text, images=image, return_tensors="pt", padding=True) outputs = model(**inputs) logits_per_image = outputs.logits_per_image # this is the image-text similarity score probs = logits_per_image.softmax(dim=1) # we can take the softmax to get probability distribution print(probs) ``` 上述代码展示了如何利用预训练好的CLIP模型来计算图像与文本之间的相似度得分，这是典型的基于VLM的应用实例之一。 #### 视觉定位与映射 (VLA) 相比之下，视觉定位与映射更专注于让移动机器人能够在未知环境中自主导航。具体来说，VLA 技术允许机器人构建环境的地图同时估计自己的位置。这一过程通常依赖于摄像头捕捉到的数据流来进行实时更新地图信息及精确定位自身坐标系下的方位变化情况。相比起注重语义解析能力的VLM,VLA更加关注几何关系的确立及其动态调整机制等方面的工作重点有所不同。 综上所述，虽然两者都涉及到“视觉”的范畴之内，但是它们各自侧重的研究目标存在显著差异：前者致力于实现人类级别甚至超越人类水平的理解力；后者则旨在赋予机器设备独立探索复杂物理空间所需的基础技能集。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值