2025_NIPS_Transformer-based Planning for Symbolic Regression

一、文章主要内容总结

该研究聚焦于符号回归（SR） 任务——即从数据中挖掘可解释的数学表达式，其核心挑战在于平衡模型拟合精度、复杂度与泛化能力，同时解决传统方法效率低或目标偏差的问题。

1. 背景与现有方法局限：

   • 传统遗传编程（GP）类方法：需为每个数据集从头搜索，计算成本高、收敛慢，易过拟合。
   • 现有基于预训练Transformer的SR方法：利用大规模合成数据预训练，推理速度快，但依赖文本生成的token级交叉熵损失，忽视了符号回归核心的拟合精度、表达式复杂度等目标，导致生成结果次优。

2. 核心方法：TPSR（Transformer-based Planning for Symbolic Regression）：

   • 本质：将蒙特卡洛树搜索（MCTS）规划算法融入Transformer解码过程，构建模型无关的解码策略。
   • 核心逻辑：把符号回归的表达式生成建模为马尔可夫决策过程（MDP），通过MCTS的“选择-扩展-评估-回溯”四步流程，将拟合精度、复杂度等非可微反馈整合到生成过程中。
   • 关键组件：
     • 奖励函数：平衡拟合精度（基于归一化均方误差NMSE）与表达式复杂度（前缀表示法的序列长度）。
     • 缓存机制：通过top-k缓存和序列缓存减少重复计算，提升推理效率。
     • 与预训练模型协同：MCTS的扩展和评估阶段利用T