【AI视野·今日Robot 机器人论文速览 第八十期】Fri, 1 Mar 2024

AI视野·今日CS.Robotics 机器人学论文速览
Fri, 1 Mar 2024
Totally 32 papers
👉上期速览✈更多精彩请移步主页

Daily Robotics Papers

Humanoid Locomotion as Next Token Prediction Authors Ilija Radosavovic, Bike Zhang, Baifeng Shi, Jathushan Rajasegaran, Sarthak Kamat, Trevor Darrell, Koushil Sreenath, Jitendra Malik 我们将现实世界的人形控制视为下一个标记预测问题，类似于预测语言中的下一个单词。我们的模型是通过感觉运动轨迹的自回归预测训练的因果变换器。为了考虑数据的多模态性质，我们以模态对齐的方式执行预测，并且对于每个输入标记从相同模态预测下一个标记。这种通用的公式使我们能够利用缺少模式的数据，例如没有动作的视频轨迹。我们根据来自先前神经网络策略、基于模型的控制器、动作捕捉数据和人类 YouTube 视频的一组模拟轨迹来训练我们的模型。我们展示了我们的模型能够让全尺寸的人形机器人零镜头地在旧金山行走。即使仅使用 27 小时的步行数据进行训练，我们的模型也可以转移到现实世界，并且可以泛化到训练期间未见过的命令，例如倒退行走。

Pushing the Limits of Cross-Embodiment Learning for Manipulation and Navigation Authors Jonathan Yang, Catherine Glossop, Arjun Bhorkar, Dhruv Shah, Quan Vuong, Chelsea Finn, Dorsa Sadigh, Sergey Levine 近年来，机器人技术和模仿学习在通过利用多个实施例的数据来训练大规模基础模型方面取得了显着进展。这些政策的成功可能会让我们想知道训练集中的机器人在仍然促进积极迁移的同时可以有多么多样化。在这项工作中，我们在异构实施例的背景下研究这个问题，研究即使看似非常不同的领域，例如作为机器人导航和操纵，当包含在同一模型的训练数据中时可以提供好处。我们训练一个单一目标条件策略，能够控制机器人手臂、四轴飞行器、四足动物和移动基地。然后，我们通过将这些实施例构建为单个目标实现任务来研究在这些实施例上跨导航和操作可以发生转移的程度。我们发现，使用导航数据进行协同训练可以增强腕部摄像头目标条件操作的鲁棒性和性能。然后，我们在移动操纵器上部署仅根据仅导航和仅静态操纵数据训练的策略，表明它可以以零射击方式控制新颖的实施例。这些结果提供了证据，表明大规模机器人策略可以从跨各种实施例收集的数据中受益。

Genie: Smart ROS-based Caching for Connected Autonomous Robots Authors Zexin Li, Soroush Bateni, Cong Liu 尽管自主机器人的前景广阔，但目前仍然存在一些可能导致性能和安全性受损的关键问题。其中一个问题就是延迟，我们发现即使是 NVIDIA 最新的嵌入式平台也无法执行智能任务，例如实时检测自动驾驶车辆的目标。解决这个问题的一个方法是边缘计算这一有前途的范例。通过与我们的行业合作伙伴合作，我们确定了当前边缘思维模式的主要限制：1 服务器分布不够，因此距离车辆不够近；2 当前提出的边缘解决方案无法提供更好的性能和针对自动驾驶的额外信息

Towards Safe and Reliable Autonomous Driving: Dynamic Occupancy Set Prediction Authors Wenbo Shao, Jiahui Xu, Wenhao Yu, Jun Li, Hong Wang 在快速发展的自动驾驶领域，准确的轨迹预测对于车辆安全至关重要。然而，轨迹预测通常会偏离实际路径，特别是在复杂且具有挑战性的环境中，从而导致重大错误。为了解决这个问题，我们的研究引入了一种动态占用集 DOS 预测的新方法，增强了轨迹预测能力。该方法有效地将先进的轨迹预测网络与DOS预测模块结合起来，克服了现有模型的缺点。它提供了一个全面且适应性强的框架，用于预测交通参与者的潜在占用集。这项研究的主要贡献包括 1 为复杂场景量身定制的新型 DOS 预测模型，增强了传统的轨迹预测 2 开发了独特的 DOS 表示和评估指标 3 通过实验进行了广泛的验证，展示了增强的性能和适应性。

RoadRunner -- Learning Traversability Estimation for Autonomous Off-road Driving Authors Jonas Frey, Shehryar Khattak, Manthan Patel, Deegan Atha, Julian Nubert, Curtis Padgett, Marco Hutter, Patrick Spieler 在越野环境中高速自主导航需要机器人仅使用机载传感来全面了解周围环境。越野环境造成的极端条件可能会导致相机图像质量下降，原因是照明不佳和运动模糊，以及高速行驶时激光雷达传感提供的稀疏几何信息有限。在这项工作中，我们提出了 RoadRunner，这是一种能够直接根据相机和 LiDAR 传感器输入预测地形可穿越性和高程图的新颖框架。 RoadRunner 通过融合感知信息、处理不确定性以及生成有关地形几何形状和可通行性的上下文预测，同时以低延迟运行，实现可靠的自主导航。与依赖于对手工语义类进行分类并使用启发式方法来预测可遍历性成本的现有方法相比，我们的方法以自我监督的方式进行端到端训练。 RoadRunner 网络架构建立在自动驾驶领域流行的传感器融合网络架构之上，该架构将 LiDAR 和摄像头信息嵌入到通用鸟瞰视角中。训练是通过利用现有的可通行性估计堆栈来实现的，以可扩展的方式从现实世界的越野驾驶数据集中生成事后训练数据。此外，RoadRunner 将系统延迟提高了大约 4 倍，从 500 毫秒缩短到 140 毫秒，同时提高了可通行成本和高程图预测的准确性。

On the Existence of Static Equilibria of a Cable-Suspended Load with Non-stopping Flying Carriers Authors Chiara Gabellieri, Antonio Franchi 电缆悬挂物体的空中协作机器人操纵已得到广泛研究，因为它可以处理大型和重型物体，并且电缆具有多种优点，例如重量轻和成本效益。人们通常会考虑使用多旋翼飞行器，但由于其耐用性较差，因此可能不适合长期持续的操纵任务。因此，这项工作研究是否可以通过不间断飞行来保持缆绳悬挂物体的姿态恒定。首先&#x