强化学习经典算法笔记(十七)：A3C算法的PyTorch实现

强化学习经典算法笔记(十七)：A3C算法的PyTorch实现

发现前面没有介绍Asynchronous Advantage Actor-Critic，A3C算法的文章，在这里补上这一篇。

A3C算法简介

A3C算法是非常有名且经典的Policy Gradient算法，是A2C算法的并行版本。使用多线程运行多个actor，分别与若干个环境进行交互，收集经验，更新参数，并将更新的参数梯度汇合到主线程的Agent上去。

A3C最初版本是多线程CPU的，后来又出了GPU版本。这里实现的是多线程CPU版。GPU版本的改进。个人感觉是将计算loss function相关的变量，以及推理用的model放到CUDA上来实现。GPU版本还在调试，稍后放出。

A3C算法的训练与A2C基本无异，这个版本主要是添加了General Advantage Estimator，即GAE的实现。GAE是一种比较优秀的估计优势函数的方式。另外，与A2C不同的是，该A3C的训练没有等到episode结束再开始，而是每4帧训练一次，每个episode结束后清空trajectory buffer。

下面的代码为PyTorch的多线程训练提供了一个简易的框架，可以修改后作为Distributed PPO，DPPO的实现基础。

PyTorch实现

关于依赖包的唯一的要求是Scipy版本<=1.3.0.

from __future__ import print_function
import torch, time, gym, argparse, sys
import numpy as np
from scipy.signal import lfilter # lfilter实现FIR或IIR滤波器
from scipy.misc import imresize  # scipy1.3.0之后不再包含imresize
import torch.nn as nn
import torch.nn.functional as F
import torch.multiprocessing as mp

parser = argparse.ArgumentParser()
parser.add_argument('--env', default='Breakout-v4', type=str, help='gym environment')
parser.add_argument('--processes', default=8, type=int, help='number of processes')
parser.add_argument('--lr', default=1e-4, type=float, help='learning rate')
parser.add_argument('--gamma', default=0.99, type=float, help='rewards discount factor')
parser.add_argument('--seed', default=1, type=int, help='random seed')
parser.add_argument('--max_frame', default=4e7, type=int, help='max frame in exploration')
parser.add_argument('--update_freq', default=4, type=int, help='every 4 frames update once')
parser.add_argument('--max_frame_episode', default=1e4, type=int, help='random seed')

args = parser.parse_args()
device = 'cuda' if torch.cuda.is_available() else 'cpu'

# lambda函数,自变量x,gamma,discount是函数名,冒号后面是函数体
discount = lambda x, gamma: lfilter([1], [1, -gamma], x[::-1])[::-1]
prepro = lambda img: imresize(img[35:195].mean(2), (80, 80)).astype(np.float32).reshape(1, 80, 80) / 255.

class NNPolicy(nn.Module):
    de