【强化学习】基于tensorflow2.x 的 PPO2（离散动作情况）训练 CartPole-v1

原创

已于 2023-02-07 23:29:26 修改 · 1.3k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#tensorflow #深度学习 #python #人工智能

于 2023-01-18 01:24:21 首次发布

该代码示例展示了如何在Python中使用TensorFlow库构建和训练一个Actor-Critic模型来解决OpenAIGym的CartPole-v1环境。Actor网络用于选择动作，Critic网络估计状态值函数，通过强化学习更新策略。

算法流程

在这里插入图片描述

代码

import matplotlib.pyplot as plt

import tensorflow as tf
import numpy as np

import gym
import copy

def build_actor_network(state_dim, action_dim):
    model = tf.keras.Sequential([
        tf.keras.layers.Dense(units=128, activation='relu'),
        tf.keras.layers.Dense(units=action_dim, activation='softmax')
    ])
    model.build(input_shape=(None, state_dim))
    return model

def build_critic_network(state_dim):
    model = tf.keras.Sequential([
        tf.keras.layers.Dense(units=128, activation='relu'),
        tf.keras.layers.Dense(units=1, activation='linear')
    ])
    model.build(input_shape=(None, state_dim))
    return model

class Actor(object):
    def __init__(self, state_dim, action_dim, lr):
        self.action_dim = action_dim
        self.old_policy = build_actor_network(state_dim, action_dim)
        self.new_policy = build_actor_network(state_dim, action_dim)
        self.update_policy()

        self.optimizer = tf.keras.optimizers.Adam(learning_rate=lr)

    def choice_action(self, state):
        po