MDP中常用的概率分布

马尔可夫决策过程(Markov Decision Process, MDP)
在MDP中有一些常用的随机策略

[1]. 贪婪策略

贪婪策略是一个确定性策略，即只有在使得动作值函数最大的动作处取概率1，选其他动作的概率为0
其中
$${\pi }^{\ast }(a|s)=\{\begin{array}{ll}1,& \text{if a = argmaxa∈Aq∗(s,a)}\\ 0,& \text{otherwise}\end{array}$$

[2]. ϵ-greedy策略

ϵ-greedy策略是强化学习最基本最常用随机策略。其含义是选取使得动作值函数最大的动作的概率为
$$1-ϵ+\frac{ϵ}{|A(s)|}$$
其他动作的概率为等概率，都为
$$\frac{ϵ}{|A(s)|}$$
ϵ-greedy平衡了利用(exploitation)和探索(exploration)，其中选取动作值函数最大的部分为利用，其他非最优动作仍有概率为探索部分。
$${\pi }^{\ast }(a|s)=\{\begin{array}{ll}1-ϵ+\frac{ϵ}{|A(s)|},& \text{if a = argmaxaQ(s,a)}\\ 0,& \text{if a̸=argmaxaQ(s,a)}\end{array}$$

[3]. 高斯策略

一般高斯策略可以写成
$${\pi }_{\theta }={\mu }_{\theta }+ϵ,ϵN(0,{\sigma }^2)$$
其中μ为确定性部分，ϵ为零均值的高斯随机噪声。高斯策略也平衡了利用和探索，其中利用由确定性部分完成，探索由ϵ完成。高斯策略在连续系统的强化学习中应用广泛。

[4]. 玻尔兹曼分布。

对于动作空间是是离散的或者动作空间并不大的情况，可采用玻尔兹曼分布作为随机策略，即：
$$\pi (a|s,\theta )=\frac{exp(Q(s,a,\theta ))}{{\sum }_{b}exp(h(s,b,\theta ))}$$
其中Q为动作值函数。该策略的含义是，动作值函数大的动作被选中的概 率大，动作值函数小的动作被选中的概率小。