A3VLM: 一种基于视觉语言模型的关节感知的通用操作解决方案 | 联培生佳作

A3VLM模型：助力机器人执行复杂任务

最新推荐文章于 2025-12-12 17:54:27 发布

原创

最新推荐文章于 2025-12-12 17:54:27 发布 · 737 阅读

31 ·

CC 4.0 BY-SA版权

文章标签：

#语言模型 #人工智能 #自然语言处理 #深度学习

感谢知乎@东林钟声撰写了本篇论文解读的底稿，论文一作为22级交大联培博士黄思渊，更正修改后形成本文。

A3VLM基于sphinx模型，通过多轮对话形式，精准理解并执行面向复杂铰链结构的机器人任务。代码和模型均已开源。

论文地址：

https://arxiv.org/abs/2406.07549

代码地址：

https://github.com/changhaonan/A3VLM

模型地址：

https://huggingface.co/SiyuanH/A3VLM7B

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

OpenGVLab

关注关注

8
点赞
踩
31

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

大模型GUI系列论文阅读 DAY2：《ScreenAgent：一种基于视觉语言模型的计算机控制代理》

feifeikon的博客

01-20

1532

因此，为了实现这一目标，首先需要为视觉语言模型（VLM）代理创建一个真实的交互环境，然后引导模型与环境形成一个持续的交互流程，并通过训练提高代理的性能。【Kolb，2014】的启发，使代理能够进行反思性行为，使整个流程更加全面，并与人类的行动和思维过程保持一致。例如，基于 UI 元素元数据可以通过 HTML 或开发者模式轻松获取的基础假设，WebNav【Nogueira 和 Cho, 2016】，Mind2Web【Deng 等】等数据集提供了有限的应用场景......（请提供完整内容以完成翻译）。

VLM-AD：基于视觉语言模型监督的端到端自动驾驶

06-09

VLM-AD是一种基于视觉语言模型(VLM)监督的端到端自动驾驶系统。这一系统的核心思想是通过让自动驾驶模型在训练过程中执行辅助文本预测任务，以此来增强模型训练并提供包含非结构化推理信息和结构化动作标签的监督。...

参与评论您还未登录，请先登录后发表或查看评论

A3VLM: Actionable Articulation-Aware Vision Language Model

s_m_c的博客

08-15

1361

边界框B的宽度、高度和长度是根据链路的最远点与中心之间的距离来计算的。：a representation that describes the object's articulation structure and action affordance simultaneously. 与之前的以机器人为中心的动作表示[3,21]相比，A3VLM的表示是以对象为中心的，这使得在不收集昂贵的机器人交互数据的情况下学习对象的可操作模型，并且各种机器人可以使用相同的学习对象模型。：了解铰接物体的关节和动作可供性。

Jina-VLM：小型多语言视觉语言模型

Elastic 中国社区官方博客

12-09

1148

Jina-VLM是一款2.4B参数的视觉语言模型，在多语言视觉问答(VQA)任务中达到SOTA水平。该模型创新性地采用attention-pooling连接器，将视觉tokens减少4倍，同时保持性能，使其可在消费级硬件运行。通过两阶段训练流程，模型在29种语言中表现出色，并避免了纯文本能力的灾难性遗忘。目前支持通过API、CLI和Transformers库使用，但存在tiling开销和多图像推理的局限性。

微软人工智能研究院推出OLA-VLM：一种以视觉为中心的方法来优化多模态大型语言模型

qianggezhishen的专栏

01-08

1167

OLA-VLM在各种基准测试中经过了严格的测试，显示出比现有的单编码器和多编码器模型有显著的改进。将这种优化引入语言模型的中间层，确保了在推理期间无需额外的计算开销，即可实现更好的视觉推理。提出的方法提高了视觉-语言任务的性能，并与现有方法相比，使用更少的计算资源实现了这一点。尽管增加数据集的规模和计算的复杂性带来了一定程度的改进，但为了确保在视觉任务中达到预期的性能，这些模型需要更精确的视觉理解优化。这种方法展示了嵌入优化如何有效地解决视觉-语言对齐中的挑战，为未来更健壮和可扩展的多模态系统铺平了道路。

Steering Away from Harm: 远离危害：一种针对视觉语言模型防御越狱攻击的自适应方法

Together_CZ的博客

12-27

1146

Steering Away from Harm: An Adaptive Approach to Defending Vision Language Model Against Jailbreaks Steering Away from Harm: 远离危害：一种针对视觉语言模型防御越狱攻击的自适应方法

arXiv-2024 | VLM-GroNav: 基于物理对齐映射视觉语言模型的户外环境机器人导航

weixin_37990186的博客

12-10

1582

论文提出的VLM-GroNav方法通过结合视觉语言模型（VLMs）和本体感知。该方法通过动态更新地形可通行性估计，实时调整全局和局部规划，显著提高了户外环境中机器人导航的成功率和稳定性。未来的工作将包括在没有GPS的环境中进行定位的方法优化，以及进一步提高VLMs处理速度以应对动态和复杂环境。

从LLM到VLM：视觉语言模型的核心技术与Python实现

jiaquan3011的博客

07-12

1719

本文从理论到实践全面探讨了VLM的核心技术。从LLM的基础出发，我们逐步构建了一个完整的VLM系统，展示了视觉语言模型的工作原理和实现方法。

VLM-AD：通过视觉语言模型监督实现端到端自动驾驶

yorkhunter的博客

12-26

2491

24年12月来自Cruise和美国东北大学的论文“VLM-AD: End-to-End Autonomous Driving through Vision-Language Model Supervision”。人类驾驶员依靠常识推理来应对多样化和动态的现实世界场景。现有的端到端 (E2E) 自动驾驶 (AD) 模型通常经过优化，以模仿在数据中观察的驾驶模式，而不会捕捉到底层的推理过程。

基于VLM 的机器人操作视觉-语言-动作模型：综述 2

yorkhunter的博客

08-20

1458

25年8月来自的论文“Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey”。机器人操控是机器人技术和具身人工智能的关键前沿，需要精确的运动控制以及对动态环境中视觉和语义线索的综合理解。传统方法基于预定义的任务规范和严格的控制策略，往往难以在非结构化的新场景中扩展或推广。近年来，基于在海量图像文本数据集上预训练的大型视觉-语言模型 (VLM) 构建的视觉-语言-动作 (VLA) 模型已成为一种变革

自动驾驶基于VLM/VLA多模态模型的智能驾驶系统设计：视觉语言动作融合技术在场景理解与决策规划中的应用

09-28

内容概要：本文系统介绍了视觉语言模型（VLM）与视觉语言行动模型（VLA）的技术原理、架构及其在自动驾驶领域的应用与发展。文章从“端到端”自动驾驶范式出发，对比了VLM和VLA的技术演进路径，阐述了VLM通过融合...

【视觉-语言模型】基于激活熵的后训练量化方法：Q-VLM框架在多模态大模型中的高效压缩与性能保持（含详细代码及解释）

08-26

内容概要：论文《Q-VLM: Post-training Quantization for Large Vision-Language Models》针对大型视觉-语言模型（LVLMs）部署时的高计算和内存成本问题，提出了一种名为Q-VLM的后训练量化框架。传统量化方法逐层...

如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡

一颗优雅草科技-央千澈的优快云博客~只想无穷无尽的学习~作息早8-晚8

12-11

894

如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡

深度学习下载包时可能会遇到的问题及解决方案

m0_50481455的博客

12-09

491

若确实下载安装了CUDA ，但是此时输出的CUDA是否可用为否，应该是torch的版本为cpu版本导致，刚刚的下载包的语句如果总是下载的是cpu版本，我们考虑直接去网站下指定包，再进行安装。CUDA Version表示的是驱动支持的最高 CUDA 版本，去官网下载 CUDA ，我这里是12.2，表示下载的版本最大只能是12.2。然后下载包时，比如本地环境是Python3.9，找包下载时候，3.9要下对应cp39的包。下载好后，执行语句安装。

精品数据分享 | 锂电池数据集（七）同济大学电池数据集

12-11

692

本期继续分享一篇Nature communicationTop论文公开锂离子电池数据，划重点-数据集开源，代码开源！！！

vLLM推理引擎教程4-离线推理功能

最新发布

benben044的专栏

12-12

363

本文介绍了使用vLLM框架优化推理性能的多种方法。主要内容包括：1）基础文本生成、对话式推理、文本分类和嵌入提取四种任务的基本实现；2）自动前缀缓存功能，通过共享KV缓存加速长上下文处理；3）使用YARN方法扩展模型上下文长度；4）多模态任务处理示例（Whisper语音识别）；5）底层LLMEngine API的使用。文章通过具体代码示例展示了如何设置参数实现各类推理优化，包括温度调节、top-p采样、缓存复用等技巧，适用于文本生成、分类、嵌入等多种NLP任务场景。

观成科技:Zloader木马家族加密流量分析

GCKJ_0824的博客

12-12

430

摘要：Zloader木马最初作为银行木马Zeus的下载器，现被广泛用于勒索软件投递。其采用多种加密通信技术规避检测：1）DGA技术生成随机域名；2）DNS隧道隐藏数据；3）HTTPS加密通信；4）Websocket掩码加密。最新版本通过会话密钥强化DNS隧道加密。观成科技利用AI模型结合TLS指纹检测HTTPS加密流量，持续通过行为分析和机器学习应对加密威胁。研究表明，恶意软件正不断升级流量对抗技术，凸显加密流量检测的重要性。（149字）

“人工智能 +” 创新大会签约落定，云工场科技与沐曦、中国移动等企业携算力服务助力潍坊转型发展

Cloudcsp的博客

12-12

297

大会紧密围绕贯彻落实党的二十届四中全会精神，旨在纵深推进“人工智能+”行动，促进人工智能与实体经济深度融合，为培育和发展新质生产力注入强大 AI 动能。，共同推进智能算力供给与行业应用落地。聚焦于行业大模型落地应用、高效智能算力供给、以及“人工智能+”模式创新等多个关键方向，携手构建开放、协同、共赢的 AI 产业生态。在大会签约环节，昌邑市、安丘市、寒亭区、潍城区等政府单位围绕人工智能+治理分别推进相关合作布局；等核心能力，协同产业伙伴共同服务潍坊“人工智能+”行动，助力区域新质生产力加速培育。

宝马，如何建设一座AI汽车工厂？｜产业AI案例

chanyejiawang的博客

12-08

1468

AI汽车时代来袭

视觉语言模型VLM技术解析与应用实践

视觉语言模型（Vision-Language Model, VLM）是近年来人工智能领域中迅速崛起的一类多模态深度学习技术，其核心目标是实现对视觉信息（如图像、视频）与自然语言之间的联合理解与生成能力。VLM技术的兴起标志着AI...