weixin_52199109的博客

在训练阶段，使用强化学习，对于一个N个节点的TSP实例，算法中会以不同的起点，跑N次，得到N个轨迹，以满足TSP的对称特性，表示这都是属于一个TSP问题的（真实）解。算法中，其不会计算每一步的奖励，而是等生成一个解后，计算全局奖励，再计算损失进行反向传播。这样表示归一化奖励，得到一个advantage,然后再带入策略梯度的计算。论文中使用一个PointerFormer模型。

GFACS是一种基于GFlowNet的蚁群抽样组合优化算法，它在保持解多样性的同时，能够显著提高解的质量。GFACS的优势在于其高效的训练过程、强大的解质量和解多样性。轨迹平衡要求从初始状态到终止状态的轨迹前向转移概率积和反向转移概率积相等，类似于MCMC中的详细平衡。通过轨迹平衡，GFlowNet能够保证最终收敛于一个平衡的状态。结合两者的优势，GFACS能够在保持解多样性的同时，提高解的质量。GFACS的核心是GFlowNet，它通过训练学习状态转移的概率分布，从而替代传统的MCMC采样方法。

最长公共平方子序列（the longest common square subsequence）是最长公共子序列的问题变种，在寻找两个字符串的最长公共子序列（其中字符可以不连续）的同时，要求满足是平方字符串。