weixin_73208047的博客

2024年是具身智能的元年，很多人在这一年开始了解具身智能这一前沿科技，但是中文互联网上的资源分布过于零碎，不容易找到，难以获取一个系统性的视野，为广大从业者和爱好者制造了阻碍。为了帮助大家更好地踏入/follow这个充满潜力的新领域，笔者精心整理了一系列关于具身智能的高质量资料。希望这些经过精心挑选和编排的资料能成为大家探索具身智能及其相关领域的得力参考，无论您是刚入门的小白，还是资深的领域内专家，都能助各位在科研、学术道路上更进一步

李飞飞组提出了一种名为VoxPoser的方法，无需任何训练，利用大型语言模型和视觉语言模型来合成机器人轨迹，且能良好泛化。作者发现，LLM可以通过自然语言指令推断出环境和物体的引导目标(affordance)和限制(constraint)，并通过与VLM交互来写代码构建3D value map，弥补空间认知能力的不足。这些value map被用于提供运动规划的信息，输入到传统MPC的规划框架中，以zero-shot合成闭环机器人轨迹，并对动态扰动具有鲁棒性。

VAT-MART论文精读：上一篇文章where2act中指出无法生成动作执行轨迹的问题，在这篇文章得到了解决，本文把where2act中生成的一个位姿，改为了生成轨迹上多个点的位姿，这样就能连续执行动作了。本文的另一个创新点是指定了**任务**，而不是仅仅给定动作，例如：将微波炉的门打开30度。同时本工作使用强化学习进行了更高效率的数据采样。

这篇文章使用MLLM来执行low-level的manipulation执行，预测物体的affordance属性，并进一步给出了where to act和how to act的信息，也就是末端执行器的位姿。微调LLaMA，使其获得了用语言来精准描述如何执行动作的能力。利用了MLLM的预训练知识，具有良好的泛化能力。

具身智能affordance learning论文精读系列。本文提出了 “交互探索” 的任务，并开发了可以学习在新环境中有效行动的代理（Agent），为下游交互任务做准备，同时构建物体affordance的内部模型。

具身智能affordance learning领域where2act论文详解。核心思想是使用视觉表征，从交互中学习到“where,what,how to act”的信息。这篇论文中很多细节都值得推敲，可以作为了解本领域的一篇模板式的工作。想更深入了解Affordance learning，请关注本系列的其他文章