2025_NIPS_Discrete Neural Flow Samplers with Locally Equivariant Transformer

文章核心总结

主要内容

该研究针对非标准化离散分布采样的核心难题，提出离散神经流采样器（DNFS） 框架。其核心是学习连续时间马尔可夫链（CTMC）的速率矩阵，使动力学满足柯尔莫哥洛夫前向方程，从而实现高效采样。DNFS无需训练数据，通过控制变量法降低蒙特卡洛估计方差，结合局部等变Transformer（leTF）优化速率矩阵参数化，在非标准化分布采样、离散能量基模型（EBM）训练、组合优化问题求解三大场景中验证了有效性。

核心创新点

1. 数据无关的采样框架：无需目标分布的训练样本，通过退火插值路径连接初始分布与目标分布，直接优化柯尔莫哥洛夫方程对应的损失函数。
2. 方差降低与优化策略：利用控制变量法解决配分函数难处理问题，设计坐标下降算法实现稳定训练，大幅降低蒙特卡洛估计的方差。
3. 高效网络架构：提出局部等变Transformer（leTF），通过空心网络与双向因果注意力机制，在保持模型表达能力的同时，将计算复杂度从(O(S^d))降至(O(S×d))。
4. 多场景适配性：通过局部等变图Transformer（leGF）扩展至图结构数据，成功应用于最大独立集、最大割等组合优化问题，且支持与MCMC方法结合进一步提升性能。

---

译文（Markdown格式）