强化学习和控制

在强化学习中，我们将提供一个奖赏函数，当目标完成的好时，便奖赏；当目标完成的不好时，就惩罚。鞭策算法走一条良好的道路。

马尔科夫决策过程（MDP）

一个Markov decision process是一个元组$(S, A,{P_{sa}}, \gamma, R)$。其中：

• $S$是状态集。比如在自动直升机驾驶中，$S$就是直升机的所有可能位置，方向。
• $A$是行动。比如所有你能控制直升机的方向。
• $P_{sa}$是状态转移概率。对于每个状态$s \in S$每个行动$a \in A$，$P_{sa}$给出了当我们在状态$s$采取行动$a$时，我们将会转移到的状态的分布。
• $\gamma \in [0, 1)$称为阻尼系数。
• $R:S*A->RealNumber$叫做回报函数。

MDP的动态过程：从初始状态$s_0$开始，采取行动$a_0 \in A$；MDP过程向前推进，按分布$s_1∼P_{s_0a_0}$随机转换到下一个状态$s_1$。以此类推，不断转换。用流程可以表示为：
$s_0->(a_0)->s_1->(a_1)->s_2->(a_2)->...$
定义其总花费：
$R(s_0, a_0)+\gamma R(s_1, a_1)+\gamma^2R(s_2,a_2)+...$
我们要做的是选择随时间变化的行动，来使得总花费的期望值最大：
max,E[R(s0,a0)+γR(s1