测试gym的cartPole 出错后的更改

insid1out

已于 2023-01-12 10:54:47 修改

阅读量7k

点赞数 22

CC 4.0 BY-SA版权

文章标签： python 开发语言

于 2023-01-12 10:42:55 首次发布

本文链接：https://blog.youkuaiyun.com/insid1out/article/details/128654843

该代码段展示了如何使用Gym库创建和交互CartPole环境。首先导入Gym库，然后创建CartPole-v1环境并设置渲染模式为human。在每个episode中，环境被重置，然后随机选取动作并执行，直到环境结束。修正后的代码处理了渲染和环境结束的逻辑，并添加了短暂延迟以控制展示速度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天回去重新跑gym的cartPole用例，更新了包的版本后出现错误

python 版本：Python 3.9.13

gym版本：gym 0.26.2

网上看到的代码块：

import gym  # 导入 Gym 的 Python 接口环境包
env = gym.make('CartPole-v0')  # 构建实验环境
env.reset()  # 重置一个回合
for _ in range(1000):
    env.render()  # 显示图形界面
    action = env.action_space.sample() # 从动作空间中随机选取一个动作
    env.step(action) # 用于提交动作，括号内是具体的动作
env.close() # 关闭环境

会出现三个错误,修改后代码

    env = gym.make('CartPole-v1', render_mode="human")
    for episode in range(10):
        env.reset()
        print("Episode finished after {} timesteps".format(episode))
        for ik in range(100):
            env.render()
            observation, reward, done, info, _  = env.step(env.action_space.sample())
            if done:
                break
            time.sleep(0.02)
    env.close()

第一个错误：

UserWarning: WARN: The environment CartPole-v0 is out of date. You should consider upgrading to version `v1`.
解决办法：

'CartPole-v0' 改成：'CartPole-v1'

第二个错误：
UserWarning: WARN: You are calling render method without specifying any render mode. You can specify the render_mode at initialization, e.g. gym("CartPole-v0", render_mode="rgb_array")
解决办法：

这句：env = gym.make('CartPole-v0') # 构建实验环境

改成：

env = gym.make('CartPole-v1', render_mode="human")

第三个错误：

UserWarning: WARN: You are calling 'step()' even though this environment has already returned terminated = True. You should always call 'reset()' once you receive 'terminated = True' -- any further steps are undefined behavior.

done 等于ture的时候，还在step，加上一个判断条件就行
改为

observation, reward, done, info, _  = env.step(env.action_space.sample())
if done:
    break