<GPS> Learning Neural Network Policies with Guided Policy Search under Unknown Dynamics

1. Abstract

该论文[2]承接于[1], 在前一篇博客中整理. 提出一个策略搜索方法, 算法中迭代的拟合局部线性模型去优化大型连续的轨迹分布, 得到的轨迹分布被用在引导策略搜索(GPS)算法中, 学习任意参数的策略. 论文拟合时变线性动态模型去加速局部动态拟合过程, 并不学习一个全局模型. 在全局动态模型复杂并且不连续的情况下, 很难被成功学习. 该算法是model-based和model-free的混合方法, 比model-free方法需求更少的样本, 又能很好的解决model-based方法难以成功学习复杂不连续动态模型的问题. 最后, 在仿真平台上, 针对环境部分可观测的复杂机器人操作任务, 算法能够成功学习到一个复杂的神经网络策略, 并取得一个比较理想的结果.

2. Preliminaries

策略搜索一般分为两类: model-based方法, 需要用到系统的动态模型, 而实际系统往往难以得到精准的系统模型. model-free方法, 仅仅依靠现实世界尝试去寻找最优策略, 不依赖于具体系统模型. model-free方法很好的避免了这个难题, 但是策略往往需要精细的设计, 低维度表示, 否则搜索时间太长, 需求样本过多, 搜索空间过大, 最终导致搜索陷入局部最优并失败.

策略搜索方法, 一般包括: 优化策略$\pi_\theta(u_t\mid x_t)$的参数$\theta$, 代价函数$\ell(x_t, u_t)$的期望$E_{\pi_\theta}\left[ \sum_{t=1}^T\ell(x_t, u_t) \right]$. 该期望是在策略和动态模型$p(u_t\mid x_t)$的条件下求得. 由策略和动态模型可以确定轨迹$\zeta$的分布. 代价函数期望也可表示成: $E_{\pi_\theta}\left[\ell(\zeta)\right]$.

论文所述算法, 是学习一个时变线性高斯策略$p(u_t\mid x_t)=\mathcal{N}(K_tx_t+k_t, C_t)$. 当初始状态分布是一个比较窄的高斯分布时, 该结构的策略可以使用一些特别有效的优化方法来求解. 而任意参数的策略$\pi_\theta$使用GPS算法来优化, 通过匹配一个或多个高斯策略$p$来训练. 实验论证, 这样的方法比直接学习策略的参数$\theta$效果要好.

3. Trajectory Optimization under Unknown Dynamics

在动态模型$\mathcal{N}(f_{xt}x_t + f_{ut}u_t, F_t)$未知的情况下, 我们可以利用前一个的线性高斯控制器$\pi_\theta(u_t\mid x_t)$在实际系统中运行, 获取到轨迹, ζi={ x1i,u1i,...,x