博客介绍了TD算法中状态值修正的原理，即后一state可修正前一state的V(s)，使V(s)更接近真实值。还提到TD Target应等于V(s)，TD error应为0。对比了利用step和episode数据评估V(s)的方式，分析了forward view和backward view TD(namda)的特点及两者计算结果无区别。
每一个后面的state，都可以修正前面的state的V(s).后一state的V(s)更接近真实值，比如后一state恰好是自循环，那么它的V(s)经过很少的几个回合，就可以得到真实值
开车，前一秒感觉很正常，后一秒感觉快撞车，这时候就要修正前一秒的感觉
TD Target 应该等于 V(s),TD error 应该等于0。这样得到的V(s)函数才是正确的
利用每一step的数据评估V(s),MC是利用每一episode的数据评估V(s)
forward view TD(namda) 是站在当前看未来，namda越大，看到的未来越远，越远的未来对当前有影响
backward view TD(namda) 是站在结果看过去，离结果越近的state，对结果贡献越大，分得的权重越大。namda等于0，表示上一状态分得全部的权重1；namda等于1，表示之前的所有状态按比例分享权重，越近分得的权重越大，改变越大
forward view和backward view 算出来的TD(namda)值无区别
扫一扫
2639
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
