（2）Gymnasium--CartPole的测试

最新推荐文章于 2025-10-16 19:50:43 发布
原创 最新推荐文章于 2025-10-16 19:50:43 发布 · 812 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

文章介绍了CartPole环境的详细规则，包括动作空间、观察空间、奖励机制和游戏结束条件。通过DQN的强化学习方法和基于PID的传统控制策略对杆子保持直立进行了探讨，提供了相应的Python代码示例，展示了两种不同的控制实现，其中PID控制能运行较长时间，而直接根据角度决策的控制策略在简单场景下也有效。

1、主要参考

（1）

CartPole 强化学习详解1 - DQN_Oxalate-c的博客-优快云博客

（2）官方文档，推荐！！！！

 Cart Pole - Gymnasium Documentation

2、相关说明

2.1 动作空间

取值{0,1}，表示推车被推的固定力的方向。

 注:所施加的力所减少或增加的速度不是固定的，它取决于杆指向的角度。杆子的重心改变了移动它下面的小车所需的能量。

原文：

2.2 观察空间

观察空间是一个4维的数据

 注:

最低0.47元/天 解锁文章
使用Python的OpenAI Gym经典控制环境介绍：CartPole
TechRoarX的博客
09-10 1005
然后，在每个时间步骤中，我们渲染环境（可选），选择一个随机动作，执行该动作，并观察奖励和下一个状态。在这个环境中，你的目标是控制一个杆子（pole）平衡在一个小车（cart）上，使其不倒下。CartPole环境是一个离散动作空间和连续状态空间的问题，非常适合用于学习强化学习的基本概念和算法。你可以尝试使用不同的强化学习算法，如Q-learning、深度Q网络（DQN）或策略梯度方法，来训练一个能够在CartPole环境中持续平衡杆子的智能体。你也可以使用CartPole-v0，它没有步数限制。
25/1/8 算法笔记＜强化学习＞ GYM环境
yyyy2711的博客
01-08 634
前几天花了好多时间在装各个仿真环境上，有V-rep,Pybullet,unity的Ml-agent,很多一大堆，好多好多问题差点逼疯我，可能就pybullet能玩一点，到之后学了机器人我再来玩它，最后的最后，我发现还得是我的gym，最方便的玩强化学习的平台。Q-learning可能在简单环境中表现较好，但在复杂环境中可能不如DQN。q-learning一般用于简单的环境比较好，增长一开始快，之后就趋于平缓，DQN适用于复杂环境，可以看见它增长更为稳定和持续。环境都是CartPole-v1，就是那个摆子。
（3）Gymnasium--CartPole的测试基于DQN
chencaw的专栏
07-31 713
gym
强化学习入门-1-CartPole-v1(DQN)
weixin_43823753的博客
10-16 782
这里QQQ网络仅为一个替代QQQ函数的预测神经网络，对于状态sss预测所有的QsaQ(s, a)Qsa用于存储和重复利用历史交互数据的数据结构。它把智能体与环境交互产生的经验元组(通常形如sars′donesars′done)暂存起来，并在后续训练中以随机小批量的形式反复抽取，用于更新策略或价值函数。DQN算法的核心就是使用神经网络替代了Q函数，用于预测QsaQ(s,a)Qsa。
CartPole-v1无限步数（Gym，pytorch、DQN）
m0_71983290的博客
05-12 833
基于常规DQN算法（无算法层面的优化）实现CartPole-v1无限步数 唯一的改动就是把奖励和当前位置产生了联系，从零开始的话大概训练1000轮左右（十分钟？）就能无限步数
强化学习笔记1——DQN实现CartPole小游戏（代码分析）
qq_48342932的博客
01-22 6469
state:状态观测值有四个，就是小车的位置，即小车的位置，速度，倾斜角度和角度的变化速度。当位置和角度倾斜超出范围，则环境终止。这里返回一个{ndarray{4，}}的类型，分别代表小车的位置，速度，角度，和角度变化率。action：环境的动作是一维的，能取两个值0和1。取0代表把小车往左移动，取1代表把小车往右边移动。env.step(action)表示执行动作，函数会返回下一个状态st+1，奖励值reward，以及环境终止符done。
强化学习实践 openai gymnasium CartPole-v1 DQN算法实现
m0_74347437的博客
03-05 977
最近在学习强化学习，大致过了一遍强化学习的数学原理（视频）。视频讲的很好，但是实践的部分总是感觉有点匮乏（毕竟解决grid world 方格世界（GitHub）的问题的很难给人特别大的正反馈），所以就找到了openai gymnaisum 想要玩一下里面的几个环境。CartPole-v1是我的第一个环境，agent分数成功超过threshold（可喜可贺）。虽然环境很简单，但是也花了我很多的时间（主要是调参！）来实现。我的项目也已经放到了GitHub上，欢迎大家使用讨论！
精选资源
资源分享-强化学习-CartPole倒立摆-相关代码
08-07
内容概要：通过学习和调试CartPole倒立摆相关代码，可以有效理解DQN和强化学习所讲，对强化学习有更深刻的理解。 适合人群：机器学习小白，刚开始接触强化学习的人 能学到什么：①PyTorch...⑤CartPole倒立摆代码测试
【gym】理解gym并测试gym小游戏CartPole (一)
panbaoran913的博客
12-22 1322
同时，在上述行为的作用下，推车速度降低或提高的速度并不是固定的，而是取决于杆子所指向的方向（因为杆子重心的改变使得移动推车所需的能量改变）。为了录制 Gym 环境的视频，你可以使用 Gymnasium 库，这是 Gym 的一个后续项目，旨在提供更新和更好的功能。” ，这里“render_mode="rgb_array”把env.render该为数组模式，所以，打印image是一个数组。，为什么现在会报错？原因在于，调用gym的时候会使用一个虚拟环境，比如我的虚拟环境是。的时候会默认运行该文件中的代码。
【强化学习】Actor-Critic——Pytorch实现
Sunctam的博客
09-22 2786
强化学习之actor-critic代码实现
强化学习环境gymnasium的搭建
摇光65535的博客
05-09 6149
本文介绍了强化学习环境gymnasium（含Atari）的搭建过程，在WIndows 10和LinuxMint 20.3(Ubuntu 20.04)上测试无误。
CartPole-v1 入门，使用DQN
weixin_43949898的博客
07-04 1995
CartPole-v1 是 OpenAI Gym 中一个经典的控制学习环境。它模拟一根杆子垂直放置在小车上，小车可以在水平方向上移动。游戏的目标是通过控制小车左右移动来保持杆子竖直，尽可能长时间地不倒杆。
强化学习gym库中的Pendulum-v1/CartPole-v1游戏介绍
qq_43391414的博客
12-05 1万+
文章目录前言CartPole-v1游戏结束stateaction和rewardPendulum-v1通用操作 前言 gym官网：http://gym.openai.com/envs/#classic_control。 这gym的游戏真他妈坑，有很多游戏，但是只是粗略说说，而不说游戏具体规则。 不但如此，坑2：Pendulum-v0都已经被gym官方认定过时了，导入会报错。但是这个网站却还没有更新Pendulum-v1过来，蛋疼。 还有坑3：大家要看这个游戏的具体规则要进入github里面去看。例如Car
以Cart Pole为环境，实现DQN和PG算法
a294589592的博客
07-05 1910
以Cart Pole为环境，实现DQN和PG算法
（1）Gymnasium--安装和测试
chencaw的专栏
07-30 1342
pym
CartPole-v1线性模型局限
不要踩坏我的圆
06-26 645
CartPole-v1线性模型局限 - 神经元非线性能力 背景 上篇文章有尝试使用最简单的单一神经元来解决CartPole-v1问题，模型比较简单，但是会存在两个比较明显的问题。 针对 问题2 大部分回合500，但是后期仍会出现回报较低的情况，最近几天学习了一些资料，这篇文章尝试着从数学的角度对其做一个解释。 从仿射函数说起 这里直接一点，先给出仿射函数(affine function)的公式： a=b+Σi=1nwixia = b + \Sigma_{i=1}^nw_ix_ia=b+Σi=1n​wi​xi
CartPole 强化学习详解1 - DQN
Oxalate的博客
05-03 1万+
工作中常会接触到强化学习的内容，自己以gym环境中的Cartpole为例动手实现一下，记录点实现细节。 1. gym-CartPole环境准备 环境是用的gym中的CartPole-v1，就是火柴棒倒立摆。gym是openai的开源资源，具体如何安装可参照： 强化学习一、基本原理与gym的使用_wshzd的博客-优快云博客_gym 强化学习 这个环境的具体细节（参考gym源码cartpole.py）： action只有向左向右两个选择，离散量 观测值有4个，x, x_dot, thet
OpenAI Gym--Classical Control 环境详解
Nemo的博客
05-31 4500
Gym中Classic Control的环境详细信息以及gym的基本使用
【学习笔记】Gymnasium入门
热门推荐
BenjaminChen的博客
08-10 7万+
【学习笔记】Gymnasium入门
什么是CartPole-v1
最新发布
11-12
`CartPole-v1` 是 OpenAI 提供的经典 **强化学习（Reinforcement Learning, RL）基准环境之一**，属于 `gymnasium`（原 `gym`）库中的一个简单但极具代表性的任务。 它的目标是： > **通过左右移动小车（cart），...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值