31、离散与连续策略空间中的复制动态

离散与连续策略空间中的复制动态

1. 双人博弈中的Q - 学习动态方程

在双人博弈中，对于第一个玩家，其动态方程为：
[
\frac{dx_i}{dt}=x_i\alpha\tau((Ay) i - x\cdot Ay)+x_i\alpha\sum {j}x_j\ln(\frac{x_j}{x_i})
]
对于第二个玩家，类似地有：
[
\frac{dy_i}{dt}=y_i\alpha\tau((Bx) i - y\cdot Bx)+y_i\alpha\sum {j}y_j\ln(\frac{y_j}{y_i})
]
这两个方程用玻尔兹曼概率表达了两个Q - 学习者的动态。每个玩家在其动作集上都有一个概率向量，第一个玩家在动作集 (a_1,\cdots,a_n) 上的概率向量为 (x_1,\cdots,x_n)，第二个玩家在动作集 (b_1,\cdots,b_m) 上的概率向量为 (y_1,\cdots,y_m)。

对比上述方程与复制动态（RD），可以发现方程的第一项正是RD，负责选择机制；而Q - 学习的突变机制则包含在第二项中，可改写为：
[
x_i\alpha\sum_{j}(x_j\ln(x_j)-\ln(x_i))
]
此式中包含两个熵项，一个是关于整个概率分布 (x) 的，另一个是关于策略 (x_i) 的。

已知突变会增加熵，选择机制类似于能量，突变类似于熵，探索可以被视为突变的概念，因为两者都能提供多样性。

1.1 Q - 学习实验

这里仅描述子类2的实验。在