5、蒙特卡罗树搜索求解器与UCT算法在多玩家游戏中的分析

蒙特卡罗树搜索求解器与UCT算法在多玩家游戏中的分析

蒙特卡罗树搜索求解器（MCTS - Solver）

在游戏领域，蒙特卡罗树搜索（MCTS）是一种常用的算法，而MCTS - Solver是MCTS的一个新变体。它与传统的蒙特卡罗方法不同，能够证明游戏理论结果，因此在狭窄的战术线路中能更快地收敛到最佳移动。

最终移动选择

对于标准的MCTS，在实际游戏中选择最终移动的方法有多种，常见的是选择访问次数最多、价值最高的子节点，或者是两者的结合。但对于MCTS - Solver，由于游戏理论值的反向传播，移动的得分可能会突然下降或上升。因此，采用了“Secure child”方法，即选择使 $v + A\sqrt{n}$ 最大的子节点，其中 $A$ 为参数（这里设为1），$v$ 是节点的值，$n$ 是节点的访问次数。当根节点能证明获胜时，搜索停止并执行获胜的移动。例如，对于特定位置，MCTS - Solver能在不到一秒的时间内选择最佳移动并证明获胜。

MCTS - Solver伪代码

以下是MCTS - Solver的类C伪代码：

Integer MCTSSolver(Node N){
    if(playerToMoveWins(N))
        return INFINITY
    else (playerToMoveLoses(N))
        return -INFINITY
    bestChild = select(N)
    N.visitCount++
    if(bestChild.value != -INFINITY AN