围棋博弈程序的实现与思考（2）——探索与利用

上一篇介绍了蒙特卡罗局面评估算法，怎样用这个算法实现围棋博弈程序呢？最容易想到的方法是，对于一个给定的局面，用蒙特卡罗局面评估算法来评估每一个可下点后的局面，由此选取最佳着手点。这是可行的，但有没有可以优化的地方呢？

假设你是CPU，你知道围棋规则，但不知道更高层次的围棋知识，只会模拟随机对局，面对茫茫棋盘，你将如何选择？你会逐个点模拟对局1万次，最后通过比较评估值大小来选择最优点，还是。。。

先撇开围棋，介绍个“多臂匪徒问题”，问题描述如下：一个多臂匪徒可以看作一个赌场里的多臂角子机，每一个角子机都有一个未知的回报率，不同角子机的回报率是相互独立的。给定一个有限的尝试次数，问怎样从这些角子机中获得最高的回报？这个问题是权衡机器学习中探索（Exploration）与利用（Exploitation）的一个典型模型，在统计学中有过仔细的研究。

在尝试了某些角子机后，自然想到的是多尝试那些高回报的角子机。然而这样做容易局限于既有的经验，而不作更多的探索，很可能错过那些更高回报的角子机，所以应当尝试那些尝试次数较少的角子机，以获得更为精确的信息。

UCB算法试图找到上述两种行为的平衡点。UCB算法将一个角子机的当前平均收益值作为基数，这个基数与一个调整值之和为UCB值，每次尝试UCB值最大的角子机，这个调整值随着该角子机被尝试次数的增加而下降。求UCB值的算式如下：

Xj是第j台角子机当前的平均收益值，n是所有角子机的被尝试次数，Tj(n)是第j台角子机的被尝试次数。

加号右边是UCB算法的调整值，易得，当某个角子机被尝试次数越少，调整值越大，这个角子机就越容易被尝试。

至于这个算式是怎么来的，就不是我能理解了。。。作为一个工程师，把科学家的成果拿来用就是了～

回到围棋，回到上一个假设，你是CPU，面对茫茫棋盘，如何选择？运用UCB算法当然是个很好的答案！把当前盘面上的每一个可下点看成一个角子机，每次对UCB值最大的可下点进行蒙特卡罗评估，可更快找到靠谱的着手点。

等一下，是否存在重复计算？是否还能继续优化？