强化学习笔记-12 Eligibility Traces

前篇讨论了TD算法将MC同Bootstrap相结合,拥有很好的特性。本节所介绍的Eligibility Traces,其思想是多个TD(n)所计算预估累积收益G_{t:t+n}按权重进行加权平均,从而得到更好的累积收益预估值。

G_t^{\lambda }=(1-\lambda )\sum_{n=1}^{\infty }\lambda^{n-1}G_{t:t+n}=(1-\lambda )\sum_{n=1}^{T-t-1 }\lambda^{n-1}G_{t:t+n} + \lambda^{T-t-1}G_{t:T}

价值预估模型的参数更新式子可以调整为:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值