Offline: OPTIMAL TRANSPORT FOR OFFLINE IMITATIONLEARNING

ICLR 2023
key: Reward relabeling、OT
概述： 随着大型数据集的出现，离线强化学习 (RL) 是一个有前途的框架，用于学习良好的决策策略，而无需与真实环境交互。然而，离线 RL 要求数据集进行奖励注释，这在奖励工程困难或获得奖励注释时提出了实际挑战劳动密集型。在本文中，我们介绍了最优传输奖励标记 (OTR)，这是一种将奖励分配给离线轨迹的算法，并进行了一些高质量的演示。OTR 的关键思想是使用最优传输来计算数据集中未标记轨迹和专家演示之间的最佳对齐，以获得可以解释为奖励的相似性度量，然后离线 RL 算法可以使用它来学习策略。OTR 易于实现且计算效率高。

总结：方法是在离线强化学习背景下，探讨如和利用单条或者少量得高质量专家数据，对无奖励标记得大量离线数据实现reward labeling，进而再结合离线RL方法优化策略（两阶段）。而这种relabeling方法则是由最优传输（OPTIMAL TRANSPORT）实现。
实验结果：
Benchmark tasks: D4RL Locomotion, Antmaze, and Adroit.


OTR+IQL与原始IQL表现不相上下，说明OTR得到得奖励与真实奖励设置比较符合，这在下图中体现出强线性相关也说明这一点

特点：

1. 不需要训练单独的奖励模型或鉴别器，这可能会导致更高的运行时开销。通过不必训练一个单独的参数模型，避免了鉴别器网络架构的超参数调整。
2. 与其他方法（例如 GAIL 或 DemoDICE）不同，方法不需要解决一个极小极大优化问题，该问题可能会受到训练不稳定性的影响。
3. OTR 独立于离线 RL 算法计算奖励信号。这样两阶段解耦，在面对下游离线任务需要细心选择离线RL方法。