Beyond A∗ : Better Planning with Transformers via Search Dynamics Bootstrapping

本文是LLM系列文章，针对《Beyond A∗ : Better Planning with Transformers via Search Dynamics Bootstrapping 》的翻译。

摘要

虽然Transformers在各种应用程序设置中取得了巨大的进步，但在解决复杂的决策任务方面，这种架构仍然落后于传统的符号规划者。在这项工作中，我们展示了如何训练Transformer来解决复杂的规划任务，并展示了Searchformer，这是一种Transformer模型，它可以在93.7%的时间内最优地解决以前看不见的Sokoban难题，同时比标准A星少用26.8%的搜索步骤。搜索Searchformer是一个编码器-解码器转换器模型，用于预测A星的搜索动态。然后通过专家迭代对该模型进行微调，以执行比A星更少的搜索步骤，搜索的同时仍然生成最佳计划。在我们的训练方法中，A星的搜索动态被表示为一个token序列，该序列概述了在符号规划期间在搜索树中添加和删除任务状态的时间。在我们对迷宫导航的消融研究中，我们发现Searchformer显著优于直接预测最优计划的基线，模型大小小5-10倍，训练数据集小10倍。我们还展示了Searchformer如何扩展到更大、更复杂的决策任务，如Sokoban，提高了已解决任务的百分比，缩短了搜索动态。

1 引言

2 相关工作

3 问题设置

4 实验

5 结论，局限性和未来工作

先前的工作发现，基于Transformer模型的LLM难以解决复杂的决策任务。Searchformer证明，有了适当的训练数据，Transformers实际上可以解决复杂的规划任务。此外，Search