Keras深度学习实战——使用深度Q学习进行SpaceInvaders游戏

0. 前言

在《深度Q学习算法详解》一节中，我们使用了深度 Q 学习来进行 Cart-Pole 游戏。在本节中，我们将利用深度Q学习来玩“太空侵略者”游戏 (SpaceInvaders)，这是一个比 Cart-Pole 更复杂的环境。

1. 问题与模型分析

“太空侵略者”游戏的屏幕截图示例如下所示，智能体的目标是使单个游戏回合中获得的分数最大化。

为了能够最大化智能体的得分，我们采用的模型构建策略如下：

• 初始化 Space Invaders-Atari2600 游戏环境
• 预处理图像帧：
  • 删除不影响动作预测的像素，例如，玩家位置下方的像素
  • 归一化输入图像
  • 调整图像尺寸，以输入到神经网络模型
• 根据 gym 环境的要求堆叠游戏画面帧
• 使智能体在多个回合中进行游戏：
  • 在初始