2025_NIPS_Instructing Goal-Conditioned Reinforcement Learning Agents with Temporal Logic Objectives

文章核心总结与翻译

一、主要内容

文章提出一种名为GCRL-LTL的新方法，解决目标条件强化学习（RL）智能体难以遵循线性时序逻辑（LTL）指令的问题。该方法无需在LTL任务空间额外训练，即可让简单的目标条件RL智能体执行任意复杂的LTL规范（包括ω-正则表达式），通过将LTL规范转换为 Büchi 自动机，再转化为带权图，利用目标价值函数评估子目标转移难度，通过图搜索找到最优路径，最终让智能体零样本适配复杂时序逻辑任务。

二、创新点

1. 无需额外训练LTL任务空间，即可让目标条件RL智能体遵循任意LTL规范，突破现有方法依赖大量LTL指令采样的局限。
2. 支持ω-正则表达式等复杂LTL规范，覆盖无限控制序列场景，超出传统正则表达式的表达范围。
3. 提出任务增强马尔可夫决策过程（Task-Augmented MDPs），将低级别环境交互与高级别任务规划解耦，通过加权图搜索优化子目标序列选择。
4. 设计目标价值函数衡量子目标间转移难度，结合Büchi自动机转化与图搜索算法，实现零样本满足复杂时序逻辑任务。

---

三、关键部分翻译（Markdown格式）

Abstract

目标条件强化学习（RL）是一种通过达成多样化目标来学习通用技能的强大方法。然而，当目标由以线性时序逻辑（LTL）形式语言编写的时序扩展指令指定时，它在任务条件策略方面存在局限性。现有寻找满足LTL规范的策略的方法，