【AI视野·今日Robot 机器人论文速览 第五十六期】Tue, 17 Oct 2023

AI视野·今日CS.Robotics 机器人学论文速览
Tue, 17 Oct 2023
Totally 60 papers
👉上期速览✈更多精彩请移步主页

Daily Robotics Papers

Interactive Task Planning with Language Models Authors Boyi Li, Philipp Wu, Pieter Abbeel, Jitendra Malik 交互式机器人框架可以完成长期任务规划，并且即使在执行过程中也可以轻松推广到新目标或不同任务。然而，大多数传统方法需要预定义的模块设计，这使得很难推广到不同的目标。最近基于大型语言模型的方法可以允许更开放的规划，但通常需要大量的提示工程或特定领域的预训练模型。为了解决这个问题，我们提出了一个简单的框架，可以通过语言模型实现交互式任务规划。我们的系统通过语言结合了高层规划和低层功能执行。我们验证了我们的系统在为看不见的目标生成新颖的高级指令方面的稳健性，以及通过仅替换任务指南来轻松适应不同任务的能力，而不需要额外的复杂提示工程。此外，当用户发送新请求时，我们的系统能够根据新请求、任务指南和之前执行的步骤精确地重新计划。

Zero-Shot Robotic Manipulation with Pretrained Image-Editing Diffusion Models Authors Kevin Black, Mitsuhiko Nakamoto, Pranav Atreya, Homer Walke, Chelsea Finn, Aviral Kumar, Sergey Levine 如果通用机器人要在真正的非结构化环境中运行，它们需要能够识别和推理新的物体和场景。这些物体和场景可能不存在于机器人自己的训练数据中。我们提出了 SuSIE，一种利用图像编辑扩散模型通过提出低级控制器可以完成的中间子目标来充当高级规划器的方法。具体来说，我们对视频数据（包括人类视频和机器人展示）微调 InstructPix2Pix，以便在给定机器人当前观察和语言命令的情况下输出假设的未来子目标观察。我们还使用机器人数据来训练低级目标条件策略，以充当上述低级控制器。我们发现高级子目标预测可以利用互联网规模的预训练和视觉理解来指导低级目标条件策略，比传统的语言条件策略实现明显更好的泛化和精确度。我们在 CALVIN 基准上取得了最先进的结果，并且还展示了对现实世界操作任务的强大概括，击败了能够访问特权信息或利用更多数量级的计算和训练数据的强大基线。

Bayesian Filtering for Homography Estimation Authors Arturo Del Castillo Bernal, Philippe Decoste, James Richard Forbes 本文考虑使用速率陀螺仪和相机测量在贝叶斯过滤框架中进行单应性估计。使用速率陀螺仪测量有助于在存在遮挡的情况下更可靠地估计单应性，而贝叶斯滤波方法既生成单应性估计又产生不确定性。不确定性信息为自适应过滤方法、后处理程序和安全协议打开了大门。具体地，本文使用模拟数据集和实验数据集来测试迭代扩展卡尔曼滤波器和交互多模型IMM滤波器。

BayRnTune: Adaptive Bayesian Domain Randomization via Strategic Fine-tuning Authors Tianle Huang, Nitish Sontakke, K. Niranjan Kumar, Irfan Essa, Stefanos Nikolaidis, Dennis W. Hong, Sehoon Ha 域随机化 DR 需要使用随机动态来训练策略，已被证明是一种简单而有效的算法，可以减少模拟与现实世界之间的差距。然而，DR 通常需要仔细调整随机化参数。贝叶斯域随机化贝叶斯 DR 和主动域随机化自适应 DR 等方法通过使用现实世界经验自动选择参数范围来解决此问题。虽然有效，但这些算法通常需要很长的计算时间，因为每次迭代都会从头开始训练新策略。在这项工作中，我们提出了通过策略微调 BayRnTune 进行自适应贝叶斯域随机化，它继承了 BayRn 的精神，但旨在通过对先前学习的策略进行微调来显着加速学习过程。这个想法引出了一个关键问题，在微调过程中我们应该使用哪个先前的策略作为先验。我们研究了四种不同的微调策略，并将它们与五个模拟环境中的基线算法进行比较，从简单的基准任务到更复杂的有腿机器人环境。

Revisiting multi-GNSS Navigation for UAVs -- An Equivariant Filtering Approach Authors Martin Scheiber, Alessandro Fornasier, Christian Brommer, Stephan Weiss 在这项工作中，我们探索了惯性导航系统等变滤波的最新进展，以改进无人驾驶飞行器无人机的状态估计。传统的最先进估计方法，例如乘法卡尔曼滤波器 MEKF，在一致性、初始状态估计误差和收敛性能方面存在一些局限性。基于对称性的方法（例如等变滤波器 EqF ）通过利用系统对称性的数学特性，为这些点提供了显着的优势。这些滤波器通过其误差定义产生更快的收敛速度和对错误初始状态估计的鲁棒性。为了演示 EqF 的可用性，我们重点关注户外机器人全球导航卫星系统 GNSS 传感器和惯性测量单元 IMU 中最常见传感器的传感器融合问题。我们提供了这样一个 EqF 的实现，利用对称群的半直积来推导滤波器方程。为了验证 EqF 在现实场景中的实际可用性，我们使用来自 INSANE 数据集所有户外运行的数据来评估我们的方法。

Temporally Robust Multi-Agent STL Motion Planning in Continuous Time Authors Joris Verhagen, Lars Lindemann, Jana Tumova 信号时态逻辑 STL 是一种针对连续时间信号（例如多智能体系统的轨迹）的形式语言，它允许指定复杂的空间和时间系统要求，例如在特定时间间隔内彼此保持足够接近。为了提高具有如此复杂要求的多智能体运动规划的鲁棒性，我们考虑运动规划，其目标是最大化其联合 STL 规范的时间鲁棒性，即最大化每个智能体轨迹的允许时间偏移，同时仍然满足 STL 规范。以前的方法提出了离散时间混合整数线性规划 MILP 优化方案中的时间鲁棒运动规划和控制。相比之下，我们通过连续的 B zier 曲线对轨迹进行参数化，其中轨迹的曲率和时间遍历是单独参数化的。我们展示了一种生成连续时间鲁棒轨迹的算法，并证明了我们方法的合理性。

A perching and tilting aerial robot for precise and versatile power tool work on vertical walls Authors Roman Dautzenberg, Timo K ster, Timon Mathis, Yann Roth, Curdin Steinauer, Gabriel K ppeli, Julian Santen, Alina Arranhado, Friederike Biffar, Till K tter, Christian Lanegger, Mike Allenspach, Roland Siegwart, Rik B hnemann 在垂直墙上钻孔、打磨和安装锚栓是日常建筑工作的基本过程。手动完成这些工作很容易出错，有潜在危险，而且高度复杂。如今，重型移动地面机器人可以执行自动电动工具工作。然而，飞行器可以部署在无法穿越的环境中并到达难以到达的地方。现有的无人机设计无法提供使用电动工具所需的大力量、有效载荷和高精度。这项工作提出了第一个空中机器人设计，可以在垂直混凝土墙上执行多功能操纵任务，连续力高达 150 N。该平台结合了带有主动吸盘的四旋翼飞行器和轻型可倾斜线性工具台。这种组合使用推进系统在操纵过程中进行飞行、表面对准和进给，从而最大限度地减少重量，并允许电动工具的精确定位。我们在混凝土钻孔应用中评估我们的设计，这是一个具有挑战性的施工过程，需要高力、准确性和精度。在 30 次试验中，我们的设计可以准确地确定目标位置，尽管栖息不精确。九次视觉引导钻孔实验表明，无需进一步自动化即可实现 6 毫米的钻孔精度。

Efficient Sim-to-real Transfer of Contact-Rich Manipulation Skills with Online Admittance Residual Learning Authors Xiang Zhang, Changhao Wang, Lingfeng Sun, Zheng Wu, Xinghao Zhu, Masayoshi Tomizuka 学习接触丰富的操控技巧至关重要。这些技能要求机器人以可行的操纵轨迹和合适的合规控制参数与环境进行交互，以实现安全稳定的接触。然而，由于现实世界中的数据效率低下以及模拟与真实的差距，学习这些技能具有挑战性。在本文中，我们介绍了一种混合离线在线框架来学习强大的操作技能。我们在离线阶段采用无模型强化学习，以获得具有域随机化的模拟 RV 中的机器人运动和柔量控制参数。随后，在在线阶段，我们通过力传感器实时测量来了解柔顺控制参数的残差，以最大限度地提高机器人性能相关标准。

Adaptive Robot Assistance: Expertise and Influence in Multi-User Task Planning Authors Abhinav Dahiya, Stephen L. Smith 本文解决了使单个机器人能够有效协助多人进行任务规划领域决策的挑战。我们引入了一个综合框架，旨在通过考虑做出最佳决策的人类专业知识和机器人对人类决策的影响来提高整体团队绩效。我们的模型将这些因素无缝地集成到任务规划领域中，将问题表述为部分可观察的马尔可夫决策过程 POMDP，同时将专业知识和影响力视为系统状态的不可观察组件。为了解决此类系统中机器人的动作，我们提出了一种有效的注意力切换策略。该策略利用此类系统的固有结构，解决多个较小的 POMDP，以生成启发式算法来优先考虑与不同人类队友的交互，从而减少状态空间并提高可扩展性。我们对模拟套件履行任务的实证结果表明，当机器人的策略考虑到专业知识和影响力时，团队绩效会得到改善。

ManyQuadrupeds: Learning a Single Locomotion Policy for Diverse Quadruped Robots Authors Milad Shafiee, Guillaume Bellegarda, Auke Ijspeert 学习四足机器人的运动策略传统上仅限于特定的机器人形态、质量和尺寸。通常必须对每个新机器人重复学习过程，其中必须重新调整超参数和奖励函数权重，以最大限度地提高每个新系统的性能。或者，尝试训练单一策略来适应不同的机器人尺寸，同时保持相同的自由度和形态，需要复杂的学习框架，或者质量、惯性和尺寸随机化，这会导致训练周期延长。在我们的研究中，我们表明，从动物运动控制中汲取灵感，使我们能够有效地训练能够控制各种四足机器人的单一运动策略。这些差异包括可变数量的自由度（即 12 或 16 个关节）、三种不同的形态、从 2 kg 到 200 kg 的广泛质量范围以及从 16 cm 到 100 cm 的标称站立高度。我们的策略调制脊髓中中央模式生成器 CPG 的表示，有效协调 CPG 的频率和幅度以产生有节奏的输出 Rhythm Generation ，然后将其映射到模式形成 PF 层。在不同的机器人中，唯一变化的组件是 PF 层，它调整步幅高度和长度的缩放参数。随后，我们通过在 Unitree Go1 和 A1 机器人上测试单一策略来评估模拟到真实传输的情况。

BEVGPT: Generative Pre-trained Large Model for Autonomous Driving Prediction, Decision-Making, and Planning Authors Pengqin Wang, Meixin Zhu, Hongliang Lu, Hui Zhong, Xianda Chen, Shaojie Shen, Xuesong Wang, Yinhai Wang 预测、决策和运动规划对于自动驾驶至关重要。在大多数当代作品中，它们被视为单独的模块或组合成具有共享主干但独立任务头的多任务学习范例。然而，我们认为它们应该被整合到一个综合框架中。尽管最近的几种方法遵循这种方案，但它们都受到复杂的输入表示和冗余框架设计的困扰。更重要的是，他们无法对未来的驾驶场景做出长期预测。为了解决这些问题，我们重新思考自动驾驶任务中各个模块的必要性，并仅将所需的模块纳入到极简的自动驾驶框架中。我们提出了 BEVGPT，这是一种生成式预训练大型模型，集成了驾驶场景预测、决策和运动规划。该模型以鸟瞰BEV图像作为唯一输入源，并根据周围的交通场景做出驾驶决策。为了确保驾驶轨迹的可行性和平滑性，我们开发了一种基于优化的运动规划方法。我们在 Lyft Level 5 数据集上实例化 BEVGPT，并使用 Woven Planet L5Kit 进行真实驾驶模拟。所提出的框架的有效性和鲁棒性得到了验证，它在 100 个决策指标和 66 个运动规划指标上优于以前的方法。此外，我们的框架长期准确生成 BEV 图像的能力通过驾驶场景预测任务得到了证明。

Learning visual-based deformable object rearrangement with local graph neural networks Authors