- 博客(25)
- 收藏
- 关注
原创 【具身论文阅读】Towards Unified World Models for Visual Navigation via Memory-Augmented Planning
让具身智能体能够想象未来状态,是实现鲁棒且可泛化视觉导航的关键。然而,当前最先进的系统通常依赖模块化设计,将导航规划与视觉世界建模解耦。这种解耦往往会引起状态—动作不对齐,并使系统在新颖或动态场景中的适应能力较弱。本文提出 UniWM,这是一种统一的、记忆增强的世界模型。它在单一多模态自回归主干中集成了第一人称视觉前瞻和导航规划。UniWM 明确地将动作选择建立在视觉想象结果之上,从而紧密对齐预测与控制。同时,层次化记忆机制融合短期感知线索和较长期轨迹上下文,支持在扩展时间范围内进行稳定且连贯的推理。在四个
2026-04-30 16:12:13
315
原创 【具身论文阅读】WorldVLA: Towards Autoregressive Action World Model
WorldVLA 把文本、图像、动作都离散成 token,用同一个自回归模型混合训练两个任务:一类样本学习“看图和指令生成动作”,另一类样本学习“看图和动作预测未来图像”。两个损失共同反向传播,让模型同时具备动作决策能力和世界状态预测能力。
2026-04-30 11:42:09
432
原创 【世界模型论文阅读】Navigation World Models
导航是具有视觉-运动能力的智能体的一项基本技能。我们提出 Navigation World Model(NWM),这是一种可控视频生成模型,能够基于过去观测和导航动作预测未来视觉观测。为了捕获复杂的环境动态,NWM 采用 Conditional Diffusion Transformer(CDiT),该模型在由人类和机器人智能体的自我中心视频组成的多样化集合上训练,并扩展到 10 亿参数。在熟悉环境中,NWM 可以通过模拟导航轨迹并评估其是否达到期望目标来进行导航路径规划。
2026-04-29 22:34:26
455
原创 【记忆机制阅读】MAP-VLA: Memory-Augmented Prompting for Vision-Language-Action Model in Robotic Manipulation
视觉-语言-动作预训练。VLA 模型是在大规模示范数据上预训练的策略,用于将多模态观测映射到机器人动作。每条示范由一系列观测-动作对 ({o_t, a_t}_{t=1}^{n}) 构成。其中,每个观测 (o_t = [I_t^1, I_t^2, \ell_t, s_t]) 包括一张全局视角图像 (I_t^1)、一张腕部图像 (I_t^2)、一个语言 token 序列 (\ell_t),以及机器人状态 (s_t)。时刻 (t) 对应的动作表示为 (a_t)。
2026-04-29 18:49:47
284
原创 【记忆机制阅读】MEM: Multi-Scale Embodied Memory for Vision Language Action Models
传统上,端到端机器人学习中的记忆通常是把过去观测序列输入到已学习策略中。然而,在复杂的多阶段真实世界任务中,机器人的记忆必须以多个粒度层级表示过去事件:既包括捕获抽象语义概念的长期记忆,例如做饭机器人需要记住菜谱的哪些阶段已经完成;也包括捕获近期事件并补偿遮挡的短期记忆,例如当机械臂遮挡了待抓取物体时,机器人仍然需要记住自己想抓取的物体。在本文中,我们的核心洞察是:一种面向长时程机器人控制的有效记忆架构,应当结合多种模态来捕获这些不同抽象层级的记忆。
2026-04-29 18:11:51
327
原创 【记忆机制论文阅读】Rethinking Memory Mechanisms of Foundation Agents in the Second Half: A Survey
人工智能研究正在经历一种范式转变:研究重点正从单纯追求模型创新和基准分数,转向强调问题定义以及严格的真实世界评估。随着领域进入所谓的“下半场”,核心挑战变为如何在长程、动态、依赖用户的环境中产生真实效用。在这些环境中,智能体会面对上下文爆炸,并且必须在持续交互中不断积累、管理并选择性复用大量信息。因此,记忆成为弥合真实效用差距的关键方案。本文从三个维度统一讨论基础智能体记忆:记忆载体(内部与外部)、认知机制(情景记忆、语义记忆、感官记忆、工作记忆和程序记忆)以及记忆主体(以智能体为中心与以用户为中心)。
2026-04-28 16:52:46
244
原创 【记忆机制论文阅读】Memory in the Age of AI Agents: A Survey
为了组织已有研究,论文首先考察 agent memory 最基本的表示单元:记忆到底由什么承载?不同 agent 系统中,记忆并不是由一种统一结构实现的。不同任务需要不同存储形式,每种形式都有自己的结构属性,并塑造了智能体如何积累信息、保持行为一致性,以及完成特定任务。:记忆被组织为显式、离散、可单独访问、修改和重构的单元。这些单元对外可见,可以长期以结构化形式存储。:记忆存储在模型参数中,信息通过参数空间中的统计模式编码,并在前向计算中被隐式访问。
2026-04-28 13:57:56
479
原创 具身智能论文阅读:NavCoT: Boosting LLM-BasedVision-and-Language Navigation via LearningDisentangled Reasoning
视觉与语言导航(Vision-and-Language Navigation, VLN)作为具身人工智能(Embodied AI)的关键研究问题,要求具身智能体(embodied agent)根据自然语言指令在复杂的3D环境中导航。近期研究通过提升导航推理的准确性和可解释性,突显了大型语言模型(large language models, LLMs)在VLN中的潜力。然而,它们主要以离线方式使用,通常面临VLN任务与LLM训练语料库之间存在显著领域差距(domain gap)的问题。
2025-10-26 12:42:31
1189
原创 具身智能论文阅读:MC-GPT: Empowering Vision-and-Language Navigation with Memory Map and Reasoning Chains
在视觉与语言导航(Vision-and-Language Navigation, VLN)任务中,智能体需要按照自然语言指令导航到目标位置。尽管基于学习的方法一直是该任务的主要解决方案,但它们存在训练成本高且缺乏可解释性的问题。近年来,大型语言模型(Large Language Models, LLMs)因其强大的泛化能力,成为VLN任务中有前景的工具。然而,现有基于LLM的方法在记忆构建和导航策略多样性方面仍存在局限性。为了解决这些挑战,我们提出了一系列技术。
2025-10-26 12:00:58
1165
原创 具身智能论文阅读:Robotic Control via Embodied Chain-of-Thought Reasoning
学习型机器人控制策略的一个关键限制在于其无法在训练数据之外进行良好的泛化。近年来,关于视觉-语言-动作模型(Vision-Language-Action models, VLAs)的研究表明,使用在大规模互联网数据上预训练的视觉-语言模型作为学习型机器人策略的骨干网络,可以显著提升其鲁棒性和泛化能力。然而,在其他领域中,大型视觉-语言模型最令人兴奋的能力之一,是其能够通过迭代推理解决复杂问题。那么,这种能力能否被引入机器人领域,使得策略在执行任务前能够通过推理来提升表现呢?
2025-10-25 17:04:17
1246
原创 具身智能论文阅读-StreamVLN: Streaming Vision-and-Language Navigation via SlowFast Context Modeling
在真实世界环境中进行的视觉与语言导航(Vision-and-Language Navigation,VLN)要求智能体能够处理连续的视觉流,并基于语言指令以低延迟生成动作。尽管基于视频的大型语言模型(Video-based Large Language Models,Video-LLMs)推动了该领域的最新进展,但当前基于 Video-LLM 的 VLN 方法常常在精细化视觉理解、长时上下文建模以及计算效率之间面临权衡。
2025-10-21 20:52:51
1318
原创 具身智能论文阅读:Nav-R1: Reasoning and Navigation in Embodied Scenes
具身导航要求智能体在复杂的三维环境中整合感知、推理和动作,以实现稳健的交互。现有方法通常存在推理痕迹不连贯且不稳定的问题,这限制了其在多样化环境中的泛化能力,同时也难以在实时导航中平衡长时域语义推理与低延迟控制。为了解决这些挑战,我们提出了 Nav-R1,一种统一具身环境推理的具身基础模型。我们首先构建了 Nav-CoT-110K,一个大规模具身任务逐步思维链(Chains-of-Thought, CoT)数据集,使结构化推理能够实现冷启动初始化。在此基础上,我们设计了一个基于 GRPO 的强化学习框架,包
2025-10-20 18:31:26
1419
原创 具身智能论文阅读:A Vision-Language-Action-Critic Model for Robotic Real-World Reinforcement Learning
生成动作:模型自回归生成数字 token → 拼成动作向量计算动作概率:每个 token 的概率相乘 → 得到动作整体概率 (\pi(a|s))PPO 更新计算策略比 (r_t = \pi_{\text{new}}/\pi_{\text{old}})用优势函数 (A_t) 构建 PPO 损失对 token logits 反向传播 → 更新模型参数输入输出输入:状态、任务描述、历史动作、参考轨迹输出:自回归 token 序列 → 解码为动作向量好处。
2025-10-19 22:44:44
755
原创 具身智能论文阅读:CollabVLA: Self-Reflective Vision–Language–Action Model Dreaming Together with Human
这些数据包含配对的观测(observations)、多模态目标(multimodal goals)、轨迹(trajectories)和推理说明(rationales),在此阶段。
2025-10-18 21:40:27
692
原创 具身智能论文阅读:OpenFly:A Comprehensive Platformfor Aerial Vision-Language Navigation
摘要 本文提出OpenFly平台,旨在解决空中视觉语言导航(Aerial VLN)领域的数据稀缺问题。该平台整合了Unreal Engine、GTA V、Google Earth及3D高斯点云渲染多引擎支持,开发了自动化数据采集工具链,实现点云处理、语义分割、轨迹生成与指令标注的全流程自动化。基于此构建了包含10万条飞行轨迹的大规模数据集,覆盖18个多样化场景。同时提出OpenFly-Agent模型,引入关键帧感知机制优化视觉编码。实验表明,该平台与模型显著优于现有方法。所有工具链、数据集及代码将开源共享。
2025-10-18 16:41:16
1504
原创 具身智能论文阅读:OpenVLA:An Open-Source Vision-Language-Action Model
将其替换为我们的动作标记。在动作被处理为一串标记后,OpenVLA 采用标准的。
2025-10-16 20:32:45
1858
原创 具身智能论文阅读:自我进化代理人的调查:通往人工超级智能的道路(1)
涵盖四个主要类别——模型(Model)、上下文(Context)、工具(Tool)和架构(Architecture);:区分测试内自进化(intra-test-time)与测试间自进化(inter-test-time),其实现途径包括上下文学习(ICL)、有监督微调(SFT)或强化学习(RL);:以三大核心范式为中心——基于奖励的方法(reward-based)、模仿与示范的方法(imitation and demonstration)、以及基于群体的方法(population-based)。
2025-10-16 11:17:52
1144
原创 具身智能原理与实践书籍阅读笔记3----视觉辅助的操控技术
具身操控技术研究综述 具身操控旨在让智能体通过物理交互完成各类任务,涉及本体控制、物体属性理解和环境约束处理。研究范畴包括直接物体操作、工具使用和复杂任务分解。本体形态涵盖单/双臂机器人、人型机器人、移动机械臂等,配备不同末端执行器。当前研究主要依托仿真平台(如LIRERO、CALVIN)和真实数据集(Bridge、RH20T、ARIO),其中ARIO通过标准化格式整合了303万轨迹片段。经典技术方案包括Transformer自回归动作生成(ALOHA-ACT、RT-1)、扩散模型(Diffusion Po
2025-10-11 11:40:17
1040
原创 具身智能原理与实践书籍阅读笔记2----视觉增强的导航任务
具身导航是智能系统在动态环境中实现高效安全运动的关键技术,包含感知、路径规划和控制三大模块。环境表示方法多样,包括栅格地图、特征地图、拓扑地图等,常采用混合方式提升性能。视觉SLAM通过传感器数据同步定位与建图,包含五个核心模块,其中深度学习技术正推动端到端和隐式生成SLAM的发展。视觉语言导航(VLN)作为新兴任务,要求智能体根据自然语言指令完成导航,其评价指标综合考量路径长度、导航误差、任务成功率和路径效率。
2025-10-10 22:10:00
695
原创 具身智能原理与实践书籍阅读笔记1----具身智能概述
具身智能技术综述摘要 具身智能指具备物理实体的人工智能系统,由多模态感知(视觉语言模型VLM)、规划决策(大语言模型LLM)和执行机构(机器人控制)三模块协同构成,强调本体与环境的交互学习。核心挑战包括三维视觉表示(显式体素/点云/网格与隐式SDF/NeRF)、强化学习框架(价值/策略学习)以及模仿学习(行为克隆/逆强化学习)。大模型技术(如Transformer位置编码)推动了感知与规划能力,但执行端的物理操控仍受限于数据稀缺与泛化难题。未来需整合离身与具身智能范式,优化Real2Sim循环。
2025-10-10 11:25:55
1053
原创 AS5600编码器PCB绘制
(由于技术原因,联网搜索暂不可用)AS5600 系列是 ams AG(现为 Renesas 旗下公司)推出的磁性旋转位置传感器,不同后缀型号在封装、输出接口、温度范围或应用场景上存在差异。以下是和和:具体参数请以官方数据手册为准,建议通过 Renesas 官网或分销商获取最新信息。根据需求,选择最常用的AS5600-ASOT。
2025-02-12 11:58:51
1531
原创 刚体(大学物理)
在外力作用下形状和大小都不改变的物体。可以看作是由许多质点组成的质点系,每个质点称为刚体的质元(质量的微元),内部任意两个质元的距离不改变。
2023-04-06 17:14:12
10366
1
原创 git简单操作
创建完仓库后,我们会赋予仓库每一个文件一个状态。如果是自己创建的项目,项目的每一个文件都是未被追踪的生成版本后,未被追踪的文件不会在版本里所以我们需要跟踪目录。
2023-03-24 11:52:55
186
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅