强化学习-笔记

Q-learning VS. Sarsa

• Q-learning更新公式 (off-policy)：
  $$Q(s,a)=Q(s,a)+\alpha (r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime })-Q(s,a))$$
  更新状态$s=s^{\prime }$.
• Sarsa更新公式 (on-policy)：
  $$Q(s,a)=Q(s,a)+\alpha (r+\gamma Q(s^{\prime },a^{\prime })-Q(s,a))$$
  更新状态$s=s^{\prime }$，动作$a=a^{\prime }$.

李宏毅强化学习

github李宏毅深度学习笔记

• Policy based --> Learning an actor -->代表是 Policy Gradient
• Value based --> Learning a critic --> 代表是 Q-learning

Policy Gradient

目标：调整actor的参数θ，最大化R的期望

Off-policy (PPO方法)

为了重复利用数据

• PPO (Proximal Policy optimization)为了解决θ与θ’别太不一样的问题

Deep Q-learning

---

2020.12.09放弃了David Silver的课

马尔克夫决策过程

Markov Process

• 没reward，没action，
• 只有 状态S 和 状态转移矩阵P，$<S,P>$

Markov Reward Process

• 加reward
• 需要 奖励函数R 和 折扣因子$\gamma$，$<S,P,R,\gamma >$
• 奖励函数R只表示出当前状态的奖励（即时奖励）
• 目标：最大化累计奖赏$$G_t=R_{t+1}+\gamma R_{t+2}+...$$
• Value function:$$v(s)=E[G_t|S_t=s]$$就是$G_t$的期望。

Markov Decision Process

• 加决策（动作）$A$，$<S,P,A,R,\gamma >$

动态规划

Problem	Bellman Equation	Algorithm
Prediction	Bellman Expectation Equation	Iterative Policy Evaluation
Control	Bellman Expectation Equation + Greedy Policy Improvement	Policy Iteration
Control	Bellman Optimality Equation	Value Iteration