23、强化学习与生成网络输出优化在游戏中的应用

强化学习与生成网络输出优化在游戏中的应用

强化学习在贪吃蛇游戏中的应用

在贪吃蛇游戏中应用强化学习算法，能够让智能体学习如何玩游戏并获取高分。研究人员对多种强化学习算法进行了评估，包括Q - Learning、SARSA和近端策略优化（PPO）算法。

• PPO算法的不同实现方式

  • 向量方法 ：能够让智能体玩贪吃蛇游戏，但主要侧重于收集食物。
  • CNN方法 ：由于输入复杂性，未产生最优结果。
  • 射线投射方法 ：模拟出了较高的智能水平，能够学习如何避开障碍物并收集食物。通过增加更多射线和引入球体投射，可进一步改善近距离障碍物检测。

• 不同实验设置及结果

  • 有无网格方向对比 ：有网格方向时，智能体的收敛更稳定，每回合长度比无网格方向时短。无网格方向的实验似乎采用了一种不太有效的随机策略来寻找食物。然而，有网格方向时，智能体在遇到前方身体部分时容易失败，推测是因为长身体长度的练习时间不足。
  • 增加墙壁的实验 ：在地图上部设置墙壁后，智能体的收敛奖励低于有网格方向的情况。这是因为墙壁带来了更具挑战性的环境，导致智能体死亡更频繁，且其注意力从食物和移动的身体部分转移到了静态墙壁上。