多智能体强化学习（三）单智能体强化学习

通过试验和错误，一个RL智能体试图找到最佳的策略，以最大化其长期回报。该过程由马尔可夫决策过程表示。

1. 问题制定：马尔可夫决策过程

定义1（马尔可夫决策过程）一个MDP可以用一个由关键元素$<\mathbb{S}、\mathbb{A}、P、R、\gamma >$组成的元组来描述。

• $\mathbb{S}:$ 一组环境状态。
• $\mathbb{A}:$ 智能体可能执行的操作的集合。
• $\mathbb{P}：\mathbb{S}\times \mathbb{A}\to ∆(\mathbb{S}):$对于每个时间步骤t∈N，给定代理的动作为∈A，从状态$s_{\in }\mathbb{S}$到状态在下一个时间步骤$s^{\prime }\in \mathbb{S}$中的转换概率。
• $R：\mathbb{S}\times \mathbb{A}\times \mathbb{S}\to \mathbb{R}：$奖励函数，返回从s到s’的标量值。奖励的绝对值一致受$R_{max}$为界。
• $\gamma \in [0,1]$ 是表示时间值的折扣系数。

在每个时间步长t中，环境都有一个状态$s_t$。智能体观察此状态，并在上执行操作。该操作使环境转换到下一个状态 s t + 1 ∼ P ( ⋅ ∣ s t ， a t ) s_{t+1}∼P(·|s_t，a_t) st+1​∼P(⋅∣s