具身的这几个领域为什么难攻克？

具身的这几个领域为什么难攻克？

具身智能之心 具身智能之心 2025年04月04日 00:01 上海

具身智能落地重点攻克的领域有哪些？具身智能是今年非常火的话题，央妈和人民日报也多次进行报道相关产品，可以说大家对此寄予厚望。但具身智能领域从硬件到软件算法还有很多难题需要解决攻克，今天为大家盘点下具身智能领域的一些难点与工程落地需要关注的方向。

足式机器人运动学习

主要涉及到步态规划、复杂场景下足式机器人的鲁棒性、复杂场景下足式机器人的行走、强化学习与模仿学习有效监督足式运动，终身学习如何融入足式运动、Sim2Real如何应用等。

视觉语言动作（VLA）

VLA要求智能体根据视觉和语言输入生成动作，当下很多问题需要大家关注，如何进行感知编码、动作生成？不同架构的优缺点和优化方向怎么评定？VLA的泛化性和通用性如何保留？数据是怎么采集的？联合训练怎么做？如何零样本学习等等

视觉语言导航（VLN）

VLN要求智能体根据自然语言指令在环境中导航。常用算法实现包括：

• 模仿学习（IL）：通过专家示范数据训练智能体；

• 强化学习（RL）：通过奖励机制训练智能体导航；

• 图神经网络（GNN）：用于建模环境中的空间关系；

机器人从环境中获取语言指令和每⼀步的视觉观测，首先需要同时视觉语⾔编码器从中压缩出有效信息。采用怎样的编码器，视觉和语言的表征是否应该投影到⼀个共同的表征空间？是否应该首先对语言指令在指令级别的拆分然后在压缩是其中的关键问题。这其中，采用在大规模数据集上预训练的视觉语言模型，利用LLM做指令拆解和任务拆分是目前主流且前沿的范式。

VLN机器人需要逐步获得视觉观测，执行动作，获得新的观测，以此循环，这天然是⼀个序列决策的任务。那么如何累积历史上获得的信息？判断当前执行到任务的哪个阶段，为下⼀步的动作决策给出充分的信息，就变得非常关键。隐式端到端方法将过去的信息表示成序列模型中的隐变量，环境表征和策略网络融为⼀体，共同学习。而显示端到端方法选择用诸如拓扑图，BEV语义地图，神经辐射场等模型对环境信息进⾏建模，进而在此基础学习策略网络。

机械臂抓取

机械臂抓取任务涉及物体检测、姿态估计和抓取规划。常用算法包括：

• 6D姿态估计：用于估计物体在三维空间中的位置和姿态；

• 抓取生成网络（GG-CNN）：用于生成抓取点；

• 强化学习：用于优化抓取策略；

姿态估计中，如何解决视觉任务空间感知缺陷问题，如何优化抓取点、端到端数据缺乏与采集问题，是需要重点突破的方向。

视觉语言模型（VLM）

VLM用于理解和生成与视觉内容相关的语言描述。常用算法包括：

• CLIP：OpenAI提出的多模态模型，能够将图像和文本映射到同一空间；

• BLIP：用于图像-文本生成和理解的模型；

• ViLT：视觉和语言Transformer模型；

• Qwen/internVL/Deepseek等：最新视觉语言大模型，可以微调执行下游任务；

VLM在具身领域的应用需要关注落地、微调、多任务、部署等；

大模型部署

大模型在具身智能领域的部署仍面临多个难点，大模型通常需要大量计算资源，而具身设备（如机器人）的计算能力有限。具身设备需要在毫秒级内做出反应，这对大模型的推理速度提出了高要求。

具身设备通常依赖电池供电，大模型的高功耗会显著缩短设备续航时间。高计算负载也会导致设备发热，影响性能和稳定性。

模型部署的时候本身也需要优化，需要在保持性能的同时压缩模型规模，以适应具身设备的资源限制。行业一般通过量化和剪枝减少模型的计算和存储需求。

目前主流的解决方案主要有：

• GPU：如NVIDIA的Jetson系列，适合高性能计算，但功耗较高。今年推出的thor芯片，也将助力大模型的部署。

• TPU：如Google的Edge TPU，专为机器学习优化，功耗较低。

• FPGA：如Xilinx的FPGA，可定制化，适合特定任务。

• ASIC：如华为的Ascend系列，专为AI设计，性能和功耗平衡较好。

• CPU：如Intel的Core系列或ARM架构处理器，适合轻量级任务。

扩散策略（Diffusion Policy）

扩散策略是一种基于扩散模型的决策方法，用于生成连续动作序列。常用算法包括：

• 扩散模型（Diffusion Models）：通过逐步去噪生成数据；

• 行为克隆（Behavior Cloning）：通过模仿专家数据生成策略；

扩散策略在机器人操作任务，它在自主导航、灵巧手抓取等领域展现出了良好的潜力。其独特优势在于能够根据实时的环境约束，动态生成符合约束的动作轨迹，显著提升了任务完成的成功率。最近火热的流策略(flow policy)亦是在扩散模型基础上的进一步演进，扩散模型在复杂环境下的适应性和任务完成能力已经得到了充分验证。

扩散模型通常需要多次迭代生成结果，计算开销较大，难以满足具身智能对实时性的要求。与此同时，扩散模型通常需要大量高质量数据来训练，而具身智能领域的数据采集成本高且耗时。用高保真环境生成大量训练数据是一个有价值的研究方向。真实环境复杂多变，扩散模型可能难以快速适应动态变化，扩散模型更擅长生成短期策略，在长期任务中可能表现不足。

机器人动作空间通常维度较高，扩散模型在高维空间中的生成效率可能较低，这也是一个潜在的难点。

强化学习

强化学习用于优化智能体的决策策略。常用算法包括：

• DQN：深度Q网络，用于离散动作空间；

• PPO：近端策略优化，用于连续动作空间；

• SAC：适合高维动作空间；

具身智能机器人应用强化学习面临样本效率、仿真到真实迁移、高维状态和动作空间、奖励函数设计、安全性、实时性、多任务学习以及探索效率等多方面的挑战。这些问题需要结合算法优化、仿真技术、硬件加速以及多学科交叉研究解决。

触觉感知

触觉感知涉及力觉、触觉传感器的数据处理和反馈控制。常用算法包括：

• 信号处理：用于处理触觉传感器数据；

• 深度学习模型：用于触觉数据的分类和回归任务；

触觉感知在具身智能机器人中的应用面临传感器设计、数据处理、信息建模、多模态融合、反馈控制、泛化能力以及硬件耐久性等多方面的挑战。柔性电子材料和新型传感器技术、高效的信号处理算法（如滤波、降噪）、基于深度学习网络的建模方案、多模态融合网络等是其中重点解决方向。

这些问题都是具身领域需要攻克的，仍然需要大量的工业界和学术界的研究人员进行探索。具身智能之心知识星球内部对这些问题和解决方案进行了大量讨论与汇总。如果您也希望和大家交流沟通，快速入门进阶，欢迎加入国内首个具身智能开发者社区具身智能之心知识星球，