村头

扩展HDP

    看网上的ADP的代码挺少的，最近写了一个ADP值迭代的代码，分享一下，接下来也准备写Actor-Critic框架。1、ADP值迭代原理1    ADP值迭代和强化学习的值迭代很类似，在ADP中的值迭代分为传统的值迭代和广义值迭代（仅仅是初始值不同的差异）。具体的文章可以看参考文献[1]。    值迭代可以用于求解线性和非线性系统。首先初始化值函数V0(x)=0V_0(x)=0V0​(x)=0，然后进行迭代更新：u0(xk)=argminu(xkTQxk+ukTRuk+V0(xk+1))u_0

HDP