强化学习导论 第一章 ： 策略 价值函数 奖赏函数 环境等基本概念

这是最近读sutton的“reinforcement learning - An introduction”的读书笔记，其实大多数更像是按照自己理解写的中文翻译，可能语言有时没有那么严谨，主观因素多一点，更像是一种和自己的对话。希望各位看官多多包涵，如果想真正理解一些，最好对照着英文原本看，也许能看出自己的想法。

这次第一篇就写第一章。第一章是概述，更多的是从宏观上讲强化学习的一些概念和思想，虽然概括性较强，但也还是有很多值得细读的点，在下文一一道来。

１、强化学习中的基本元素：

policy --相当与环境和动作之间的一个映射，某种环境下最应该做什么动作呢？这个是由policy决定的。policy的所有可能组成一个policy空间，强化学习的目的，就是在这个巨大的空间中，学习到某一种最优的policy。

reward function -- 也可以看成是一个映射，关于当前的动作，或者当前环境和当前动作的pair的好不好的一个评价。属于立即评价，只考虑当前这一步的好坏。

value function -- 和上面的reward function对比着看，这一步考虑的是当前环境状态的长远优势，也就是以当前状态为起点，以后的多个时间点之后的各个状态的reward之和。如何更好的估计这个值，是几乎所有增强学习问题的解决重点和难点。这个也是如何评定一个policy好坏的标准。也是把增加学习和evoluation method （例如遗传算法）区别开的地方。

model of environment -- 对环境的建模。这个模型有点预测环境的走向的意思。比如，假如我有了这个模型，我可以知道在当下的环境下，下一步的环境状态和reward是什么。这样，我就不必去真实的走这一步，就已经知道结果了，也就是不用非得试错了。这是个新的发展方向。

关于evolution method 要多说点：它和强化学习的区别在于，它不利用任何你的过程信息，只使用结果。比如我采用某一个policy,我就用这固定的policy和环境进行多次实验，看看最后的结果概率分布，然后知道这个policy有多大概率赢。然后换下一个，继续大量实验。最后在policy空间里找到一个最优的。它的缺点是忽略了