TD(λ)--Eligibility Traces

MCMAXMM

于 2019-06-19 10:47:58 发布

阅读量1.1k

点赞数 1

分类专栏：强化学习 TD(λ)

本文链接：https://blog.youkuaiyun.com/u_say2what/article/details/92806569

版权

强化学习同时被 2 个专栏收录

2 篇文章

订阅专栏

TD(λ)

1 篇文章

订阅专栏

博客介绍了Eligibility traces在backward view中的重要作用。它源于解释分数（奖惩）的由来，对于电击原因有频率派和近因派两种启发式解释，而Eligibility traces采用衰减因子方式，较好地结合了这两种方法，并给出了一个小demo。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Eligibility traces在backward view中扮演者重要的角色。它的由来主要来自于解释分数（奖惩）的由来，如图，这种电击的原因有两种启发式的解释，一种是频率派，认为电击来自于出现频率最多的情况，即铃声。另外一种是近因派，认为电击是来自于灯泡，而eligibility tarces采用衰减因子的方式，比较好的结合了这两种启发式的方法，

这是Eligibility traces一个小小的demo.

import numpy as np
import matplotlib.pyplot as plt
a=np.random.randint(0,2,size=100)
b=np.arange(0,100,1)
eligibility_list=list()
E_t=0
for trace in a:
    eligibility_list.append(E_t)
    E_t=0.8*E_t+trace
plt.plot(b,eligibility_list)
plt.show()