【强化学习】MCTS

Simulation-Based Search

基于仿真的搜索包含两点：一个是simulation，其次是search。simulation是基于强化学习model进行采样，得到样本数据。但这不是基于和环境交互获得的真实数据。search则是为了利用样本结果来帮我们计算应该采用什么动作，以实现长期利益最大化
要理解什么是Simulation-Based Search，首先要明白什么是forward search，forward search从当前考虑的一个节点（状态）$S_t$开始，然后对其所有可能的action进行扩展，建立一棵以$S_t$为根节点的搜索树，这棵树是一个MDP（马尔科夫决策过程），求解这个MDP，然后得到$S_t$状态最应该采用的动作$A_t$。如下图所示

MC Search

Simulation-based Search的一种简单方法是：简单MC Search。它基于一个模型$M_v$和策略$\pi$，针对当前状态$S_t$，对每一个可能采样的动作KaTeX parse error: Undefined control sequence: \inA at position 2: a\̲i̲n̲A̲，都进行K轮采样，这样每个动作$a$都会得到K组完整的episode。即：
{ S t , a , R t + 1 k , S t + 1 k , A t + 1 k , . . . S T k } k = 1 K − M v , π \{S_t,a,R_{t+1}^k,S_{t+1}^k,A_{t+1}^k,...S_T^k\}_{k=1}^K -M_v,\pi { St​,a,Rt+1k​,St+1k​,At+1k​,...STk​}k=1K​−Mv​,π
对于每个$(S_t,a)$，使用MC算法算法先算出每一个episode的$G_t$，然后得到每个$(S_t,a)$，算出动作价值函数和选择最优动作
$$Q(S_t,a)=\frac{1}{K}\sum _{k=1}^K{G}_t$$
a t = a r g max ⁡ a ∈ A Q ( S t , a ) a_t=arg\max_{a\in A}Q(S_t,a)