182页重磅综述，盘点机器人操作进化之路

机器人操作进化全解析

原创于 2025-10-31 17:37:18 发布 · 773 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#1024程序员节

从“会看”到“会动”，AI正在攻克最后一公里

在具身智能的浪潮中，“理解世界”只是第一步，更难的，是“动手改造世界”。当机器人不再只是一双“眼睛”，而是一双能稳定抓取、灵巧操作、甚至协同工作的“手”，它就真正具备了在真实世界中行动的能力。而这背后，正是机器人操作（Robot Manipulation）研究的核心。

近期，来自西安交通大学、西湖大学、北京大学、香港科技大学（广州）、北京智源研究院（BAAI）等八所顶尖机构的研究团队发布了重磅综述论文——《Towards a Unified Understanding of Robot Manipulation: A Comprehensive Survey》。

这篇论文长达182页，系统梳理了机器人操作领域的全景：从硬件到算法、从数据到应用、从任务定义到未来趋势，可谓是这一方向迄今最全面的知识图谱。

我们基于这份成果进行了通用化的提炼与盘点——希望用一篇更精炼的文章，带大家快速了解当前机器人操作的主要方向、关键挑战与未来趋势。这篇盘点不会逐条介绍论文内容，而是从中抽取出最具代表性的脉络，让读者在十分钟内看清“机器人如何学会动手”。

当然，如果你希望深入了解具体研究、实验和对比结果，也非常推荐阅读原文——那份182页的资料堪称机器人操作研究的百科全书。

paper连接：https://arxiv.org/pdf/2510.10903

附送机器人操作知识学习大合集：

https://github.com/BaiShuanghao/Awesome-Robotics-Manipulation

机器人操作的发展史，本质上是一部“手”的进化史。从最初只能执行固定动作的机械臂，到如今能够感知环境、规划路径、灵活控制力道的具身系统，机器人正不断拓展它的身体边界。在硬件层面，可以看到几条清晰的技术脉络。接下来，小编带各位读者一起回顾一下现在的机器人已经进化出了多少种“手”：

● 单臂机器人（Franka Panda、UR5、Kinova Gen3、xArm）依旧是实验室与工业场景的基础平台，强调精度与稳定性；

● 双臂系统（ALOHA、ABB YuMi）让机器人具备了“协作操作”的能力，能够完成装配、分拣等需要双手配合的任务；

● 灵巧手平台（Allegro Hand、Shadow Hand、RBO Hand）推动了多指协调与柔性接触的研究，为“人类级”灵巧操作打开了通道；

● 移动操作平台（Hello Stretch、PR2、TIAGo）则让“手”不再被固定在原地，能移动到任意位置完成操作；

● 而在更高形态上，四足与人形机器人（如 Unitree Go2、Boston Dynamics Spot、Optimus Gen2、Figure 02、Unitree G1）正在把操作与运动结合，形成完整的具身智能体。

认识了身体，认识了手，我们还需要了结控制方式的演化，因为它决定了机器人“怎么动”。早期系统依赖精确建模与规划，通过算法计算出每一步的最优路径与力矩，比如RRT、MPC、CHOMP、TrajOpt等方法；

而如今的趋势，是让机器人在数据中学会动作——通过强化学习、模仿学习、甚至生成式策略模型，让控制过程具备了自适应与泛化能力。

简单来说，以前的机器人是“按图索骥”，现在的机器人是“见招拆招”。前者精准但僵硬，后者灵活且能面对不确定性。这种从“机械执行”到“智能决策”的转变，也意味着操作系统不再只是机械学的问题，而是正在成为人工智能的核心问题之一，成为我们常聊的“具身智能”。

▲图1｜机器人操作任务的全景版图：从单臂到双臂、从柔性物体到移动平台，再到人形机器人，这张图展示了当下主流操作任务的完整梯度。可以看到，随着“手”的进化，任务也在从单点抓取走向复杂协作——操作智能的边界，正在一步步被推开

如果说控制算法是机器人的“肌肉”，那数据与环境就是它的“训练场”。

没有丰富的操作数据，再聪明的策略也无从学习。近年来，随着仿真平台和大规模数据集的兴起，机器人的学习方式正从“小样本实验”迈向“数据驱动”的新阶段。在整个领域中，数据的积累经历了三个明显阶段。

最初，人们依赖抓取类数据集

如 GraspNet、Dex1B、GraspAnything、MetaGraspNet 等。它们聚焦单手或双指抓取，通过记录不同物体的姿态、接触点和抓取成功率，让机器人学会“如何拿起东西”。这些数据集的共同点，是结构清晰、数量庞大、标签精确——是操作智能最早的基石。

第二阶段，研究者开始构建多样化任务数据集

代表性如 MetaWorld、RoboSuite、CALVIN、RoboCasa、ManiSkill3 等平台，它们不仅提供多种任务（从开门、插销到摆放），还支持多传感输入，包括视觉、语言、深度与触觉。这种设计让机器人能在一个统一环境中同时学习多个技能，从“单任务专家”走向“多任务选手”。小编看完后最大的感觉是：机器人界的“通用模型”正在从语言迈向动作，数据也卷得越来越彻底。

▲图2｜在第二阶段，机器人从单一的抓取转换为了多样化的运用，从家庭助手到运动健将，人们希望机器人能够完成各类任务，因此基于不同任务场景的数据集逐渐诞生，这打破了传统数据集聚焦于某一个特殊领域的范例，让机器人的泛化性能从幕后走到台前

第三阶段，出现了跨形态、跨模态的训练体系

这一层不再局限于单个机械臂或实验场景，而是让机器人在虚拟与现实之间自由切换。Sim-to-Real技术成为关键：通过大规模仿真生成数据，再结合真实传感反馈进行微调，让机器人能在真实世界中复现仿真中学到的行为。值得注意的是，这些训练环境也越来越“沉浸式”。

过去的仿真多局限于方盒世界，而现在的模拟器（如 ManiSkill3、RoboCasa）已具备复杂的物理交互、软体动力学与多视角观测能力。这意味着机器人不只是看到物体，更能“感受”它的形状、材质、重量，甚至是物理约束。这些数据与环境共同构建出操作智能的基础生态。

它们不仅支撑了模仿学习、强化学习等训练方式，也为高层策略规划（如语言驱动任务）提供了语义支点。可以说，没有这些虚拟世界的打磨，就不会有今天在真实场景中精准操作的机器人。或许正如一个研究者在会议上开玩笑说的：“机器人还没学会洗碗，但它已经能在仿真里摔碎一万个盘子了。”在这一“反复摔盘子”的训练中，机器的动作逐渐有了意义，智能的雏形也在无数次模拟中被一点点雕琢出来。

要让机器人真正“动手”，首先得明确——它要动什么、怎么动。

整个操作研究的发展，其实就是任务的不断拓展：从“拿起物体”到“完成协作”，再到“处理柔性材料、操控复杂形态”，任务越复杂，对智能的要求也越高。在当前的研究体系中，可以看到一条从基础到高级的任务谱系。

抓取（Grasping）

这是最基础、也是最成熟的方向。抓取的目标看似简单——让机器人正确拿起物体，但其中的变量极多：形状、摩擦力、角度、材质，任何细微变化都可能导致失败。

得益于大规模数据集和精细的6-DoF标注，抓取算法从几何匹配发展到深度学习，再到可泛化的多模态抓取。如今，机器人已经可以在未见过的物体上实现稳定的抓取，甚至依据语言提示完成指定对象的“语义抓取”。

▲图3｜从“看得见”到“听得懂”：抓取方法的进化路径：抓取任务的研究，正从单纯依赖视觉迈向语言与多模态融合。早期方法仅凭图像预测抓取位姿，而现在的系统能把语言信息融入视觉特征，通过注意力机制理解“要抓哪一个”；还能结合预训练模型生成多种候选动作，再由高层规划器筛选最优方案。随着大规模抓取数据的出现，端到端微调的“抓取基础模型”也开始登场——让机器人真正从“看图行动”变成“理解再行动”

基础操作（Basic Manipulation）

这是从“拿起来”到“怎么用”的跃迁。机器人开始学习拧瓶盖、拉抽屉、插钥匙、叠毛巾等任务。

这些操作不再依赖静态抓取点，而要求动态规划和连续控制，是训练策略模型和闭环控制算法的重要试验场。在很多仿真平台中，这一类任务被用来衡量机器人对物理交互的理解深度。

▲图4｜基础操作方法的统一框架：这张图展示了基础操作任务的整体方法谱系。无论是抓取、推动还是旋转，都可以在这一框架下找到对应的学习路径

灵巧操作（Dexterous Manipulation）

当机器人从“两指夹子”变成“多指之手”，操作空间突然爆炸。灵巧操作关注多指协同、力控制和非刚性接触，例如用Shadow Hand旋转笔、用Allegro Hand掂球。这类任务的难点在于状态空间维度高、动力学复杂、数据难采。研究者往往借助模仿学习或扩散策略（Diffusion Policy）实现对人类演示的迁移。小编个人最喜欢看这一类实验，尤其是机械手从笨拙的抓取到慢慢学会抛接球的画面，第一次看还真有点“科幻落地”的感觉。

▲图5｜一些灵巧操作的演示

柔性与软体操作（Soft / Deformable Object Manipulation）

这是“非刚性世界”的挑战。无论是折叠衣物、揉面团还是操作绳索，都要求机器人在动作中持续感知形变并实时调整。这一方向带来了新的传感需求——力觉、触觉、视觉融合，以及更高效的物理建模方法。虽然研究仍在起步阶段，但其重要性在服务机器人、医疗操作、农业采摘等场景中愈发突出。

▲图6｜软体与可变形物体的操作，是机器人从“硬碰硬”走向“柔中带智”的关键一步。无论是折叠衣物、整理绳索，还是抓取海绵与果蔬，这类任务都要求机器人在动作中持续感知形变与受力。它不再只是执行，而是在“感受”物体的反应后作出调整——真正意义上的“手感”，正在被一点点学出来

四足与人形操作（Legged & Humanoid Manipulation）

当“会走路”的机器人开始“动手”，具身智能的边界被彻底推开。四足平台（如Unitree Go2、Spot）正在实现边行走边抓取的复杂任务，而人形机器人（Optimus Gen2、Figure 02、Unitree G1）则承担起更具象征意义的目标——在与人类相似的身体结构中，实现协同操作与自然交互。它们需要同时处理全身的平衡控制、力反馈与视觉理解，是目前操作研究中最综合、也最具挑战的一环。纵观整个任务谱系，操作智能正沿着三条主线同时演化：从单手到多手、从静态到动态、从实验台到真实世界。而每一个方向的突破，都是让机器人更像“行动体”而非“机械体”的关键一步。

▲图7｜四足平台让机器人第一次真正实现“边移动、边操作”。在这一类任务中，它们需要同时保持身体平衡、规划步态，还要协调前肢完成抓取、推动或协作动作。看似简单的一次“拾物”动作，背后往往是感知、控制与规划的多重配合——让机器学会在运动中保持稳定，在稳定中完成操作

当任务变得越来越复杂，机器人必须学会的不只是“怎么动手”，更要“先想清楚要做什么”。这正是操作智能的分层逻辑：上层负责思考，下层负责执行。可以把它理解为“头脑层”和“肌肉层”的协同。

头脑层：理解任务与规划动作

在高层规划（High-level Planning）中，机器人不再只接收指令，而是要从语言、视觉或3D环境中推理出任务目标。

▲图8｜高层规划的六大核心模块：高层规划系统的能力，正是由这六个关键部分构成的：基于语言模型（LLM）和多模态模型（MLLM）的任务规划、代码生成、运动规划、可供性学习，以及三维场景表征。它们共同支撑了机器人从“听懂指令”到“制定计划”再到“执行动作”的完整思考链条，也构成了操作智能真正的“大脑雏形”

这部分的研究越来越依赖大型语言模型（LLM）和视觉语言模型（VLM）。它们能把“自然语言”转化为“操作语义”，让机器人理解诸如“请把红色杯子放在右边的桌子上”这样的命令。一些系统还进一步引入代码生成、运动描述和3D可供性（Affordance）理解，用结构化的方式描述物体间的交互关系。简单来说，机器人正在学会“用语言去思考动作”。而在多模态学习的推动下，这些高层模型逐渐具备了推理—决策—规划的闭环能力。

当语言、视觉、触觉等信息被融合进一个统一表征中，机器人能像人一样在脑中“想象”出接下来的操作步骤——这一步从理论走向实践的转变，是近两年操作智能的重大进展。