【动手学强化学习】part3-蒙特卡洛算法

阐述、总结【动手学强化学习】章节内容的学习情况,复现并理解代码。


一、算法背景

1.1目标

给定环境,求解最优policy

1.2问题

动态规划算法是基于“白盒”,即环境模型(状态转移概率和奖励函数),基于v(s)初始值通过贝尔曼公式估计当前policy下最优v(s),并估计q(s,a)值基于policy策略进行policy更新,直至达到最优policy。
若环境具有不确定性,即“黑盒”模型,不存在环境模型,如何估计v(s) or q(s,a)?

1.3解决方法

  • 🌟蒙特卡洛估计(Monte Carlo,MC)
    由于算法目标都是求解最优policy,然而最优policy的定义为:
    在这里插入图片描述
    因此在求解最优policy的过程中,无可避免地需要估计v(s) or q(s,a)。
    又因为v(s) q(s,a)的定义皆为期望,即:
    v π ( s ) = E [ G t ∣ S t = s ] v_\pi(s)=\mathbb{E}[G_t|S_t=s] vπ(s)=E[GtSt=s]
    q π ( s , a ) = E [ G t ∣ S t = s , A t = a ] \begin{aligned}q_\pi(s,a)=\mathbb{E}[G_t|S_t=s,A_t=a]\end{aligned} qπ(s,a)=E[GtSt=s,At=a]
    蒙特卡洛的基本思想是从“多次试验”的角度出发去估计期望,即:
    E [ X ] = ∑ x x p ( x ) ≈ x ˉ = 1 N ∑ j = 1 N x j \mathbb{E}[X]=\sum_xxp(x)\approx\bar{x}=\frac{1}{N}\sum_{j=1}^{N}x_j E[X]=xxp(x)xˉ=N1j=1Nxj
    基于q(s,a)的定义式,结合蒙特卡洛的思想可推导出:
    q π ( s , a ) = E [ G ∣ S = s , A = a ] ≈ G ˉ = 1 N ∑ i G i q_\pi(s,a)=E[G|S=s,A=a]\approx\bar{G}=\frac{1}{N}\sum_iG_i qπ(s,a)=E[GS=s,A=a]Gˉ=N1iGi
    其中,i为不断与环境交互后产生的episode(状态-奖励链,一般由(s,a,r,s’)组成)的编号
    继而通过v(s)与q(s,a)的关系,估计v(s)
    v π ( s ) = ∑ a π ( a ∣ s ) ⋅ q π ( s , a ) v_\pi(s)=\sum_a\pi(a|s)\cdot q_\pi(s,a) vπ(s)=aπ(as)qπ(s,a)
    因此,MC是通过不断与环境交互,采样多个episode以估计v(s) or q(s,a)。

二、MC basic算法

  • 🌟算法类型
    环境依赖:❌model-based ✅model-free
    价值估计:✅non-incremental ❌incremental(需采样完成多个episode才进行q(s,a)估计)
    学习方式:✅on-policy ❌off-policy
    价值表征:✅tabular representation ❌function representation
    策略表征:✅value-based ❌policy-based

2.1 伪代码

在这里插入图片描述

其实算法流程是与policy iteration上大体一致,只是🌟在PE过程中采用蒙特卡洛方法去估计q(s,a)

算法流程简述:

①初始化:根据环境,初始化各state的state value,一般设置为0;policy同时也初始化,一般设置为每个state选取各action的概率相等
②价值评估(policy evaluation,PE):以一个(s,a)为例,基于当前policy与环境交互直至走至terminal state,一个episode(状态-奖励链,即由(s,a,r,s’)组成的链)结束,不断循环直至产生N个episode,统计每个episode的return。然后,基于蒙特卡洛法估计q(s,a)。
③策略提升(policy improvement):以greedy policy策略将各state中action value最大的值进行policy优化。
④终止判断:判断最近两次policy是否相等,若是则停止算法输出policy,若否则重复执行②③步。

三、MC exploring starts算法

  • 🌟算法类型
    环境依赖:❌model-based ✅model-free
    价值估计:✅non-incremental ❌incremental(需采样完成单个完整的episode才进行q(s,a)估计)
    学习方式:✅on-policy ❌off-policy
    价值表征:✅tabular representation ❌function representation
    策略表征:✅value-based ❌policy-based

3.1 必要说明

❗存在问题:MC-basic算法中在估计特定q(s,a)时,需等到所有episodes(假定采样N个episode)生成后再取均值以更新q(s,a),算法效率低。
🌟解决方法:每生成一个episode搭配first-visit/every-visit方法就进行q(s,a)更新,从进行policy更新。

first-visit

估计特定q(s,a)时,采样完成单个episode后,将episode内访问到的所有(s,a)均估计一次q(s,a),但仅仅只在访问第一次时进行估计值的更新

every-visit

对于一个episode而言,将episode内访问到的所有(s,a)均估计一次q(s,a),但重复访问同一个(s,a)时将取均值

3.2 伪代码

在这里插入图片描述

算法流程简述

与MC basic算法流程大致相同,PE+PI,只是PE过程中采用了first-visit方法,算法效率更高。


总结

  • Monte Carlo法是首个model-free的方法,后续问题之中多数都是“黑盒”模型,需要通过不断与环境交互产生的episode进行*v(s) q(s,a)*值估计。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值