MARS: Multi-Agent Robotic System with Multimodal Large Language Models for Assistive Intelligence

于 2025-12-15 08:15:00 发布
阅读量105 收藏
点赞数 4
CC 4.0 BY-SA版权
分类专栏： LLM Daily LLM Agent LLM MultiModal 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/UnknownBody_2/article/details/155783670

在这里插入图片描述

一、文章主要内容总结

该研究针对智能家居中残障人士辅助机器人的需求，提出了一种基于多模态大型语言模型（MLLMs）的多智能体协作系统MARS（Multi-Agent Robotic System），旨在解决现有系统在风险感知规划、用户个性化适配及语言计划落地执行等方面的不足。

系统核心架构包含四大智能体模块，形成“感知-推理-规划-评估”的闭环流程：

  1. 视觉感知智能体：融合CLIP和DeepLab v3等模型，提取环境图像的全局语义特征、目标分割及空间信息，生成结构化场景描述；
  2. 风险评估与推理智能体：基于预定义风险分类表（涵盖障碍物、可达性、碰撞风险等6大类），结合语义推理量化风险严重程度、紧急性及优先级；
  3. 规划智能体：将风险任务映射为机器人可执行的动作序列（如障碍物清除、路径引导），并考虑动作可行性与执行成本；
  4. 评估与优化智能体：从辅助用户体验、任务效率、透明度、伦理社会适配四大维度评估计划，通过闭环反馈迭代优化。

实验方面，在自建多场景数据集（含室内简单/复杂场景、漫画风格场景）及跨域数据集（如LLM-SAP、Home Fire Dataset）上验证，结果表明MARS在风险感知规划、多智能体协同执行等方面优于现有主流多模态模型（如LLaVA

了解本专栏 订阅专栏 解锁全文 超级会员免费看
读论文 LM-Nav: Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action
qq_54044964的博客
08-22 894
VLM将从LLM提取的地标描述与环境中的图像进行匹配，帮助系统确定这些地标在实际环境中的位置。VNM的任务是根据图像中的地标，制定最优的行驶路线，并实际控制机器人执行该路线。语言为与机器人的通信提供了更方便的方式，但当代方法通常需要昂贵的监督，以用语言描述注释的轨迹的形式。本文提出了一个用于机器人导航的系统 LM-Nav，该系统享有在未注释的大型轨迹数据集上进行训练的好处，同时仍然为用户提供高级界面。左侧是输入的自然语言指令，中间是VLM匹配出的地标，右侧是VNM执行路径规划后的实际行走路线。
RT-2论文翻译: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
机器学习实战
01-26 1592
在广泛的Web规模数据集上预训练的高容量模型为各种下游任务提供了有效且强大的平台：大型语言模型不仅可以实现流畅的文本生成（Anil等，2023；Brohan等，2022；OpenAI，2023），还能实现新兴的问题解决（Cobbe等，2021；Lewkowycz等，2022；Polu等，2022）以及散文（Brown等，2020；OpenAI，2023）和代码（Chen等，2021）的创造性生成，而视觉语言模型则实现了开放词汇的视觉识别（Kirillov等，2023；Minderer等，2022；
【计算机图形学】ManipLLM: Embodied Multimodal Large Language Model for Object-Centric Robotic Manipulation
passer__jw767的博客
03-18 2048
对ManipLLM: Embodied Multimodal Large Language Model for Object-Centric Robotic Manipulation的简单理解
RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
CHONGjjj的博客
10-11 1527
是否可将大型预训练的视觉语言模型直接集成到低级机器人控制中，以提高泛化能力并实现突现语义推理?直接训练设计用于开放词汇视觉问答和视觉对话的视觉语言模型，以输出低级机器人动作，同时解决其他互联网规模的视觉语言任务。RT2是在网络规模数据上训练的微调大型视觉语言模型衍生出来的模型家族，将动作编码为对应的语言文本token并协同微调训练。
【论文阅读】PERCEIVER-ACTOR: A Multi-Task Transformer for Robotic Manipulation
qq_33673253的博客
09-16 2055
transformers凭借其对大型数据集的扩展能力，彻底改变了视觉和自然语言处理。但在机器人操作中，数据既有限又昂贵。通过正确的问题表述，操纵仍然可以从变形金刚中受益吗？我们使用peract来研究这个问题，peract是一种用于的。peract使用感知器transformer[1]对语言目标和rgb-d体素观测值进行编码，并通过“。与在2d图像上操作的框架不同，体素化的3d观察和动作空间为有效学习6-dof动作。
[论文解读]RT-2: Vision-Language-Action Models TransferWeb Knowledge to Robotic Control
zengxiaojian2的博客
11-20 1387
这篇论文研究了如何将基于互联网规模数据训练的视觉-语言模型直接整合到端到端的机器人控制中，以提升泛化能力和实现语义推理。
【论文精读】RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
eepii的博客
06-08 1130
已知：目前VLM在VQA，推理等方面有强大的能力，可以给出机器人的高阶指令high-level commands，需要各种controller去给出指令，无法VLM自己给出直接用于控制的低阶指令Cartesian end-effector commands。问题：想要机器人能够获得足够强大的能力，暴力的方法就是采集足够大量的数据 millions of robot interaction trials，但是从成本角度考虑并不现实。针对机器人动作数据，限制给出的词表范围，防止输出不可执行的指令。
机器人近期最重要的论文之一 RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
jiayoushijie的博客
06-07 3631
高容量的大规模预训练模型,如大语言模型、视觉-语言模型等,可以为下游任务提供一个有效且强大的平台。这些模型不仅可以生成流畅的文本,还展现出新兴的问题解决能力、创造性写作和编程能力。视觉-语言模型甚至可以对图像中的物体-agent交互进行复杂推理。这种语义推理、问题解决和视觉解释能力,对于需要在真实世界环境中执行各种任务的通用机器人来说是非常有用的。但目前尚不清楚机器人应该如何获得这些能力。
【Multi-Task Robotic Manipulation】
三木今天学习了嘛の博客
04-06 1894
PERPACT 使用 Perceiver Transformer 对语言目标和 RGB-D 体素观察进行编码，并通过“检测下一个最佳体素（voxel）动作”输出离散化动作。与操作 2D 图像的框架不同，体素化 3D 观察和动作空间为有效学习 6-DoF 动作提供了强大的结构先验。虽然 PERACT 功能相当强大，但将其扩展到灵巧的连续控制仍然是一个挑战。PERACT 受基于采样的运动规划器的支配来执行离散动作，并且不容易扩展到像多指手这样的 N-DoF 执行器。
【论文阅读】BC-Z: Zero-Shot Task Generalization with Robotic Imitation Learning
qq_33673253的博客
09-16 2200
在这篇论文中，我们研究了使基于视觉的机器人操纵系统能够泛化到新任务的问题，这是机器人学习中的一个长期挑战。我们从模仿学习的角度来应对这一挑战，旨在研究如何扩展和扩大收集的数据来促进这种泛化。为此，我们开发了一个，该系统可以，并可以根据传达任务的不同形式的信息进行调节，包括预训练的自然语言嵌入或人类执行任务的视频。当将真实机器人上的数据收集扩展到100多个不同的任务时，我们发现该系统可以执行24个看不见的操作任务，平均成功率为44%，而无需对这些任务进行任何机器人演示。
Sphero Multi-Agent Robotic Testbed for Matlab (SMART_matlab)：用于多代理算法实验验证的分布式机器人测试台。-matlab开发
05-31
我们提出了一个分布式机器人平台，用于测试和验证多代理控制策略。 例如，我们使用该平台来实现所需的Sphero机器人形式。 编队控制和防撞策略是完全分布式的。 在线免费提供实现细节和代码。
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
一颗优雅草科技-央千澈的优快云博客~只想无穷无尽的学习~作息早8-晚8
12-11 1069
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
深度学习下载包时可能会遇到的问题及解决方案
m0_50481455的博客
12-09 502
若确实下载安装了CUDA ，但是此时输出的CUDA是否可用为否，应该是torch的版本为cpu版本导致，刚刚的下载包的语句如果总是下载的是cpu版本，我们考虑直接去网站下指定包，再进行安装。CUDA Version表示的是驱动支持的最高 CUDA 版本，去官网下载 CUDA ，我这里是12.2，表示下载的版本最大只能是12.2。然后下载包时，比如本地环境是Python3.9，找包下载时候，3.9要下对应cp39的包。下载好后，执行语句安装。
精品数据分享 | 锂电池数据集（七）同济大学电池数据集
12-11 941
本期继续分享一篇Nature communicationTop论文公开锂离子电池数据，划重点-数据集开源，代码开源！！！
AIDD-人工智能药物设计-扩散模型热力学：从 AI 提取物理能量
itwangyang520的博客
12-14 567
扩散模型的核心是加噪与去噪。这对业界的启示是，要实现精准医疗，特别是针对耐药突变的药物设计，不能仅依赖大语言模型（Large Language Model, LLM）处理序列。他们从文献和数据库中挖掘了过去被忽略的细节：氨基酸的替换、插入、缺失，以及关键的磷酸化修饰，最终整理出 4032 对新的激酶 - 配体数据。GeneGPT 曾展示了大语言模型（LLM）在生物医药领域的潜力，而 OpenBioLLM 提出了不同于 GeneGPT 单体（Monolithic）架构的方案：组建由「专家」构成的团队。
vLLM推理引擎教程4-离线推理功能
benben044的专栏
12-12 742
本文介绍了使用vLLM框架优化推理性能的多种方法。主要内容包括：1）基础文本生成、对话式推理、文本分类和嵌入提取四种任务的基本实现；2）自动前缀缓存功能，通过共享KV缓存加速长上下文处理；3）使用YARN方法扩展模型上下文长度；4）多模态任务处理示例（Whisper语音识别）；5）底层LLMEngine API的使用。文章通过具体代码示例展示了如何设置参数实现各类推理优化，包括温度调节、top-p采样、缓存复用等技巧，适用于文本生成、分类、嵌入等多种NLP任务场景。
观成科技:Zloader木马家族加密流量分析
GCKJ_0824的博客
12-12 547
摘要：Zloader木马最初作为银行木马Zeus的下载器，现被广泛用于勒索软件投递。其采用多种加密通信技术规避检测：1）DGA技术生成随机域名；2）DNS隧道隐藏数据；3）HTTPS加密通信；4）Websocket掩码加密。最新版本通过会话密钥强化DNS隧道加密。观成科技利用AI模型结合TLS指纹检测HTTPS加密流量，持续通过行为分析和机器学习应对加密威胁。研究表明，恶意软件正不断升级流量对抗技术，凸显加密流量检测的重要性。（149字）
基于偏最小二乘算法（PLS）的多输出数据回归预测
最新发布
2508_94230129的博客
12-14 200
PLS算法可以理解为是主成分分析（PCA）和多元线性回归（MLR）的结合体。它能够在处理自变量存在多重共线性的情况下，有效地进行回归建模。在多输出数据回归场景中，PLS可以同时对多个因变量进行建模预测，挖掘自变量和多个因变量之间的潜在关系。通过以上Matlab代码，我们完成了基于PLS算法的多输出数据回归预测的基本流程，从数据准备、建模到预测。PLS算法在处理多变量、多重共线性的数据时有着独特的优势，希望大家在实际项目中可以尝试应用它，挖掘数据背后的潜在规律。
Syslog / Flow / Telemetry 的 AI 聚合与异常检测实战（可观测性）
oQianYuan的博客
12-12 988
网络设备每天在后台发出巨量的可观测性数据，它们大多数被丢弃、被忽略、被埋没在日志平台里。Syslog、Flow、Telemetry 是三类最常用的基础信号，但它们一直没有在企业里发挥出该有的价值——所谓“看起来都有，出了问题却找不到原因”。过去几年里，我几乎把所有大型网络的事故复盘都做过一遍，最后得出的共同结论是：事故不是因为没有可观测性，而是因为信号太分散、太原始，而人类根本处理不过来。这篇文章的目标很直接：把 Syslog、Flow、Telemetry 三种信号，做成可输入 AI 的高质量特征，进而构建
MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting
03-08
### MOKA 开放世界机器人操作概述 MOKA 是一种创新性的框架，旨在使机器人能够在开放环境中执行复杂的操纵任务。该框架利用基于标记的视觉提示技术来指导机器人的动作[^1]。 #### 基于标记的视觉提示机制 为了实现在未知环境下的有效交互，MOKA 使用特定设计的视觉标记作为引导信号。这些标记被放置在目标物体周围或表面上，提供给机器人清晰可见的位置指示和操作指令。当摄像头捕捉到带有编码信息的图像时，算法会解析其中蕴含的数据并转换成具体的运动命令。这种方法不仅提高了识别精度，而且简化了训练模型所需的数据集构建过程。 ```python def parse_visual_prompt(image): """ 解析来自图像中的视觉标记，并返回相应的操作指令。 参数: image (numpy.ndarray): 输入RGB图像 返回: dict: 包含位置和其他必要参数的操作指令字典 """ markers = detect_markers_in_image(image) instructions = {} for marker_id, position in markers.items(): instruction = decode_marker(marker_id) instructions.update({ 'position': position, **instruction }) return instructions ``` #### 实现细节与优势 - **鲁棒性**: 即便是在光照变化较大或者存在遮挡的情况下，精心设计的标记依然能够保持较高的检测成功率； - **灵活性**: 可以轻松调整不同场景下的需求，只需改变所使用的标记样式即可适应新的应用场合； - **效率高**: 减少了对大规模标注数据的需求，在一定程度上降低了开发成本和技术门槛； 通过上述方式，MOKA 成功实现了让机器人理解复杂多变的真实世界的潜力，为自动化领域带来了全新的可能性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值