Large Language Models for Robotics: Opportunities, Challenges, and Perspectives

本文是LLM系列文章，针对《Large Language Models for Robotics: Opportunities, Challenges, and Perspectives》的翻译。

摘要

大型语言模型（LLM）已经经历了显著的扩展，并且越来越多地跨各个领域进行集成。值得注意的是，在机器人任务规划领域，LLM利用其先进的推理和语言理解能力，根据自然语言指令制定精确高效的行动计划。然而，对于机器人与复杂环境交互的具体任务，由于与机器人视觉感知缺乏兼容性，纯文本LLM往往面临挑战。这项研究全面概述了LLM和多模态LLM在各种机器人任务中的新兴集成。此外，我们提出了一个框架，该框架利用多模态GPT-4V，通过自然语言指令和机器人视觉感知的组合来增强具体任务规划。我们基于不同数据集的结果表明，GPT-4V有效地提高了机器人在具体任务中的性能。这项针对各种机器人任务的LLM和多模态LLM的广泛调查和评估丰富了对以LLM为中心的具体智能的理解，并为弥合人机环境交互中的差距提供了前瞻性见解。

1 引言

2 相关工作

3 机器人任务范围

4 GPT-4V赋能的具体任务规划

5 实验结果

6 局限性，讨论和未来工作

7 结论

在本文中，我们概述了大型语言模型（LLM）与各种机器人系统和任务的集成。我们的分析表明，LLM表现出令人印象深刻的推理、语言理解和多模态处理能力，可以显著提高机器人对指令、环境和所需动作的理解。
我们在9个数据集的30多个案例上评估了最近发布的GPT-4V模型，