上一篇我们使用了DQN来玩简单的走迷宫游戏,但是DQN能胜任比走迷宫游戏更复杂的游戏。这一篇我们就从GYM中选一款游戏来通过训练神经网络,让他自己玩。
我们选择CartPole这款游戏,在之前的Q-learning中我们有用过这款游戏,在Q-learning上效果非常的差。
由于CartPole这个游戏的reward是只要杆子是立起来的,他reward就是1,失败就是0,显然这个reward对于连续性变量是不可以接受的,所以我们通过observation修改这个值。点击pycharm右上角的搜索符号搜索CartPole进入他环境的源代码中,再进入step函数,看到里面返回值state的定义
x, x_dot, theta, theta_dot = state
通过这四个值定义新的reward是
x, x_dot, theta, theta_dot = observation_
r1 = (env.x_threshold - abs(x))/env.x_threshold - 0.8
r2 = (env.theta_threshold_radians - abs(theta))/env.theta_threshold_radians - 0.5
reward = r1 + r2
主程序是:
import gym
from RL_brain import DeepQNetwork
env = gym.make('CartPole-v0')
env = env.unwra