首个对LLMs应用于机器人任务中的量化研究

本文链接：https://blog.youkuaiyun.com/soaring_casia/article/details/139648061

论文标题：

Neural Scaling Laws for Embodied AI

论文作者：

Sebastian Sartor, Neil Thompson

导读：

大模型研究愈发火热，大语言模型的Neural Scaling Laws（神经标度律/神经缩放定律），即深度学习的误差随着训练集大小、模型大小或两者的幂数而下降也随之变得十分重要。本文是首个对具身智能（embodied AI）基础模型(RFMs)和在机器人任务中使用大语言模型（LLMs）的标度律（scaling laws）进行量化研究的工作。通过对198篇论文进行研究，分析了计算能力、模型大小和训练数据量等关键因素如何影响各种机器人任务的模型性能。研究结果证实，标度律适用于机器人领域的RFMs和LLMs，随着资源的增加，性能也会持续提高。©️【深蓝AI】编译

1. 研究背景

近年来，机器人领域取得了显著进步，特别是在可适应、通用型机器人系统的发展方面。然而，对于如何有效扩展这些系统的理解仍然不足。本文作者通过研究具身智能（embodied AI）的标度律（scaling laws）来填补这一空缺领域，主要聚焦于模型大小、训练数据量和计算资源如何影响机器人基础模型（RFM）和用于机器人的大语言模型（LLM）的性能。该研究将探究在语言和视觉等其他领域观察到的标度律是否适用于具身智能，并确定RFM和机器人LLM的特征幂律系数。此外，本文还将分析这些系数在熟悉和新颖任务间的差异，以及RFM和机器人LLM是否出现了与其他领域相似的潜在能力。

近年来深度学习的显著进步主要由scaling推动-即在增加的计算资源下训练更大的神经网络和更多的数据。这种现象可用神经网络scaling定律来描述。这一基础概念最初由JonathanRosenfeld等研究人员以及2020年的OpenAI团队提出和形式化。这一理论还建立在"痛苦教训"的基础之上，该原则强调可扩展计算在实现卓越性能方面的价值。

神经标度律（Neural Scaling Laws）在各种应用中已经证明了它的实用性。它们不仅为理解神经网络架构和数据分布如何影响性能提供了框架，而且在数据稀缺领域规划样本量方面也非常有益。总的来说，标度律有助于识别最优的scaling系数，允许基于给定输入预测性能，并估计实现所需性能的所需输入。

标度律已经在语言建模、视觉和强化学习等领域得到了广泛研究，遵循幂律函数。受transformer-based架构及其在zero-shot设置中高度泛化能力的启发，机器人研究人员开始将这些方法应用于embodied AI的物理世界，设想通用机器人并最终实现Moravec‘s悖论的终结。

传统的机器人学习方法需要为每个应用程序、机器人和环境训练单独的模型，涉及多模块系统架构。现代方法使用单一的神经网络，可以跨各种机器人、任务和环境有效地进行自适应。这种被称为RFMs的大型通用预训练网络简化了适应和实施。另一个趋势是将在互联网规模数据上训练的基础模型（如LLM和VLM）集成到机器人控制中，以提高机器人理解自然语言命令和视觉解释任务的能力。这连接了高层推理和低层控制，增强了泛化和语义推理，使机器人能够理解和生成自然语言，同时完成很多特殊的任务。

尽管取得了这些进步，但具身智能中的标度律仍然未被探索。先前的研究暗示可能存在scaling原理，但尚未进行全面量化。此外，之前的scaling laws研究的一个弱点是，它关注的指标并不直接转化为现实世界任务性能。这点特别重要，因为确定和量化embodied AI背景下的scaling laws，为开发通用机器人系统提供了关键框架。它使研究人员能够预测性能结果、更有效地分配资源，并确保在任务间的可适应性。通过了解这些原理，通过简化实验、降低成本并提高机器人研究的环境可持续性。

本研究旨在通过确定embodied AI的scaling laws来填补这一空白。

具体来说，作者将研究：

1）在计算、模型大小和数据方面，是否可以将观察到的其他领域（如语言和视觉）的标度律应用于RFM?

2）RFM和机器人中使用的LLM的特征幂律系数是什么，它们如何比较?

3）这些幂律系数在模型在训练期间见过的任务和全新（未见过）任务之间如何变化?

4）RFM和LLM是否在机器人中表现出与其他领域观察到的类似的潜在能力?

这项研究是首次全面量化embodied AI的scaling laws，满足了AI和机器人社区各利益相关方的需求。机器人研究人员可以利用这些见解来优化可适应、通用系统的设计和训练，大大减少成本和实验挑战，同时提高资源效率。理论AI研究人员将通过领域特定信息和跨领域比较，深入了解新兴行为和泛化原理。此外，该研究还可以帮助开发人员主动遵守AI法规，并协助决策者制定更有效的安全标准，类似于最近出台的标准。这种主动方法不仅可以降低风险，还可以增强社会对技术进步的准备，确保利用更强大的embodied AI系统的利益，同时最大限度地减少相关风险。大型科技公司和初创公司也可以从这些发现中获益，开发可扩展、多功能的系统，用于医疗、制造和灾难响应等领域。

2. 相关工作

2.1 具身智能（Embodied AI）：

机器人领域长期面临可扩展性和成本挑战。最近出现了两种创新方法带来了范式转移。首先是使用统一的transformer-based的架构进行预训练，就像NLP中的GPT。其次是基础模型方法，将预训练的大型模型如GPT-4和PaLM-E集成到机器人中，利用其语义推理能力，将语言与物理动作相结合。这两种策略都面临数据稀缺、实时性能和从仿真到现实部署等挑战。

2.2 神经标定律（Neural Scaling Laws）：

它是一种实证原理，描述模型质量与模型规模、训练数据规模和计算资源的关系。这些规律遵循幂律函数，通常以交叉熵为目标，这意味着随着模型规模和训练资源的增加，模型质量可以预期地得到改善。scaling laws已在语言模型、图像和视频生成、强化学习等机器学习领域得到广泛研究。随着模型的扩大，不仅在数量上有所改善，而且还表现出新的定性能力，被称为"突现"能力。尽管这些缩放模式提供了很高的性能改善可预测性，但这些扩展模型的具体能力通常仍然不可预测。数据约束也扮演了一定角色，限制了在固定规模数据上训练的大型模型的性能提升。scaling laws研究正在快速发展（如图1.a所示）。

2.3 具身智能的神经标定律（Neural Scaling Laws in Embodied AI）：

虽然scaling laws已在语言模型和计算机视觉等领域得到研究，但在embodied AI领域的研究仍然有限。现有工作表明，计算能力、模型规模和数据输入方面的scaling现象在embodied AI中也成立，大型模型表现更好。对于机器人模型（RFMs），在计算能力、模型规模和数据方面都发现了这一现象。对于机器人中使用的大型语言模型（LLMs），发现更多参数的模型表现更好。与以交叉熵为衡量标准的生成任务AI不同，embodied AI主要依靠在模拟和现实（已知/未知）环境、物体和任务中的成功率来评判模型性能。通常，这些模型依赖于多模态数据输入，不同模型之间存在差异。

相比语言模型和计算机视觉等其他领域，研究embodied AI和机器人中的scaling laws面临独特的挑战。仅仅增加模型规模并不能保证在现实世界中的性能改善，因为推理延迟会影响成功率，而边缘计算的限制也限制了模型规模的扩大。此外，更强大的边缘计算需要更多能量，这需要更大或更多的电池。此外，数据多样性也成为关键因素，正在开发涵盖各种任务和环境的数据集。此外，摩尔定律的失效要求转向算法效率，而不是依赖于指数级的计算能力扩展。