action_space vs. obs_space 【写作中】

最新推荐文章于 2025-12-02 17:06:56 发布
原创 最新推荐文章于 2025-12-02 17:06:56 发布 · 145 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch

gym 之 action_space vs. obs_space

CODE_RabbitV
关注
agenthub\codeact_agent\codeact_agent.py
数字人生
07-22 1279
_get_messages(self, state: State) -> list[dict[str, str]]: 根据当前状态构建消息列表，发送给LLM模型，提示它执行下一步操作。CodeActAgent 作为一个简化的执行代码操作的智能代理系统，通过整合多种插件和工具，提供了强大的任务执行能力。- get_system_message(): 获取系统消息，包含一些环境配置说明和插件系统的帮助信息。- get_action_message(action: Action): 将操作转换为消息字典。
IsaacLab 中 Action_Space 的限制
m0_55884713的博客
11-02 1168
之前在isaaclab中 action_space默认是Box(-inf, inf, (num_envs, num_actions), float32)，而且并没有提供调整动作幅度的接口。在IsaacLab/source/extensions/omni.isaac.lab/omni/isaac/lab/envs/direct_rl_env.py中。如上，我的action_space显示是（-1，1），但网络的输出 action from policy(obs) 并不在范围中。-ppo中没有相应的机制）。
python中 math.isfinite返回值为false_Python numpy.isfinite() 使用实例
weixin_39597323的博客
12-21 1033
The following are code examples for showing how to use . They are extracted from open source Python projects. You can vote up the examples you like or vote down the exmaples you don’t like. You can al...
Stable-Baselines 3 部分源代码解读 2 on_policy_algorithm.py
m0_48948682的博客
02-22 1531
阅读PPO相关的源码，了解一下标准库是如何建立PPO算法以及各种tricks的，以便于自己的复现。在Pycharm里面一直跳转，可以看到PPO类是最终继承于基类，也就是这个py文件的内容。所以阅读源码就先从这里开始。: )
windows 11安装Python3.9、mujoco200、mujoco_py2.0.2.8、metaworld
BetterBench的博客
05-17 1237
本文详细介绍了在Windows系统上安装MuJoCo 200及其相关依赖的步骤。首先，确保系统为Windows 10/11，并安装Visual Studio Build Tools以支持Cython编译。接着，配置Python 3.9环境，建议使用Anaconda创建虚拟环境。然后，从Roboti.us官网下载MuJoCo 200和许可证文件，并将其部署到指定目录，同时配置环境变量。安装Cython、mujoco-py、gym等依赖库后，通过GitHub克隆并安装Metaworld。最后，通过Python脚
Stable-Baselines 3 部分源代码解读 1 base_class.py
m0_48948682的博客
02-22 2799
阅读PPO相关的源码，了解一下标准库是如何建立PPO算法以及各种tricks的，以便于自己的复现。在Pycharm里面一直跳转，可以看到PPO类是最终继承于基类，也就是这个py文件的内容。所以阅读源码就先从这里开始。: )
强化学习马里奥obs, rewards, done, info = env.step(action)关于action报错np.array的问题
weixin_62344212的博客
02-27 576
action要用整形输入,可以用tolist()函数,在joypad_space里中。
DDPG
salmonwilliam的博客
07-14 3392
内容都是百度AIstudio的内容，我只是在这里做个笔记，不是原创。 把一位同学的课程笔记转载在自己博客里吧，加上自己的一些理解并解释代码，万一人家的博客被删了呢，我是站在别人的肩膀上继续前进。以下是链接 https://aistudio.baidu.com/aistudio/education/group/info/1335 https://blog.csdn.net/qq_44635194/article/details/106812096 ddpg就是用来处理连续动作空间的，比如无人驾驶，.
habitat模型训练总结（一）：点导航PPO
溯源的专栏
03-09 2636
PPO是actor_critic结构，需要两个网络一个actor网络，一个critic网络。这两个网络可以共享参数也可以不共享参数。habitat中的ppo在特征提取阶段采用了参数共享，然后分出了两个头。"""agent: PPO上面的代码可以看出self.actor_critic是NetPolicy类型，而NetPolicy类在中定义。在中的方法中......定义了self.actor_critic，如上。这个policy在中进行了定义，其中也对网络结构进行了定义。这个policy直接在。
class CustomSubprocVecEnv3(SubprocVecEnv): def __init__(self, env_fns, args, start_method=None): # 原先是start_method=None super().__init__(env_fns, start_method) # 继承父类多进程初始化 self.obs_rms = RunningMeanStd(args.save_dir, self.observation_space.shape[0]) with env_fns[0]() as env: self.num_costs = env.unwrapped.num_costs def reset(self): obs = [] for remote in self.remotes: remote.send(("reset", None)) temp_obs = remote.recv() n_steps = np.random.randint(0, 1000) action = np.zeros(self.action_space.shape[0]) for _ in range(n_steps): remote.send(("step", action)) temp_obs, _, _, _ = remote.recv() obs.append(temp_obs) observations = _flatten_obs(obs, self.observation_space) self.obs_rms.update(observations) norm_observations = self.obs_rms.normalize(observations) return norm_observations def step(self, actions): observations, rewards, dones, infos = super().step(actions) self.obs_rms.update(observations) norm_observations = self.obs_rms.normalize(observations) for info in infos: if 'terminal_observation' in info.keys(): info['terminal_observation'] = self.obs_rms.normalize(info['terminal_observation']) if self.obs_rms.count % int(1e5) == 0: self.obs_rms.save() return norm_observations, rewards, dones, infos 帮我模仿上述程序写一个单进程的程序DummyVecEnv
07-06
super().__init__(env_fns) def reset(self): return super().reset() def step_async(self, actions): self.actions = actions def step_wait(self): results = [env.step(action) for env, action in...
class PPOActor(nn.Module): def __init__(self, args, obs_space, act_space, device=torch.device("cpu")): super(PPOActor, self).__init__() # network config self.gain = args.gain self.hidden_size = args.hidden_size self.act_hidden_size = args.act_hidden_size self.activation_id = args.activation_id self.use_feature_normalization = args.use_feature_normalization self.use_recurrent_policy = args.use_recurrent_policy self.recurrent_hidden_size = args.recurrent_hidden_size self.recurrent_hidden_layers = args.recurrent_hidden_layers self.tpdv = dict(dtype=torch.float32, device=device) self.use_prior = args.use_prior解读
06-18
self.feature_norm = nn.LayerNorm(obs_space.shape[0]) ``` 4. **循环策略支持** ```python self.use_recurrent_policy = args.use_recurrent_policy self.recurrent_hidden_size = args.recurrent_hidden_...
self.action_low = th.FloatTensor(action_space.low) self.action_high = th.FloatTensor(action_space.high) 这里的action_space的动作空间属性是Discrete(2)，所以报错没有low和high的方法，而且这里的th.FloatTensor不知道是什么意思
08-07
在使用 PyTorch 和 Gym 构建强化学习模型时，访问 `action_space.low` 和 `action_space.high` 可能会引发 `AttributeError: 'Discrete' object has no attribute 'low'`。这是因为 `gym.spaces.Discrete` 类型的...
@hydra_cli( config_path='../../src/data/cfg/', # config_path='/home/user/mambaforge/envs/genom/lib/python3.8/site-packages/data/cfg/', config_name='train_rl') def main(cfg: Config): ic.configureOutput(includeContext=True) cfg = recursive_replace_map(cfg, {'finalize': True}) # path, writer = setup(cfg) path = setup(cfg) seed = set_seed(cfg.env.seed) cfg, env = load_env(cfg, path) # Save object names... useful for debugging if True: with open(F'{path.stat}/obj_names.json', 'w') as fp: json.dump(env.scene.cur_names, fp) # Update `cfg` elements from `env`. obs_space = map_struct( env.observation_space, lambda src, _: src.shape, base_cls=spaces.Box, dict_cls=(Mapping, spaces.Dict) ) if cfg.state_net_blocklist is not None: for key in cfg.state_net_blocklist: obs_space.pop(key, None) dim_act = ( env.action_space.shape[0] if isinstance( env.action_space, spaces.Box) else env.action_space.n) cfg = replace(cfg, net=replace(cfg.net, obs_space=obs_space, act_space=dim_act, )) return inner_main(cfg, env, path) if __name__ == '__main__': main() 逐行分析代码
08-30
否则，取 `env.action_space.n`，通常用于离散动作空间。 ```python cfg = replace(cfg, net=replace(cfg.net, obs_space=obs_space, act_space=dim_act, )) ``` - 调用 `replace` 函数，该函数可能用于替换 `...
PyTorch的Dataloader模块解析
工地搬砖第一年的博客
12-01 386
过采样少数类，保持类别平衡# 每个少数类样本采样2次。
用PyTorch训练一个猫狗分类器
shayudiandian的博客
11-24 597
model.fc = nn.Linear(model.fc.in_features, 2) # 替换全连接层。
云主机GPU pyTorch部署
最新发布
宝安小雨
12-02 118
直接装最新稳定版（当前是 2.5.0，支持 CUDA 11.8 和 12.1，T4 完美支持）这样安装的三个都是GPU版本。
深度学习实战（基于pytroch）系列（四十二）双向循环神经网络pytorch实现
echo的博客
11-29 775
本文介绍了双向循环神经网络(BiRNN)的PyTorch实现。BiRNN通过同时处理正向和反向序列信息，能够更好地捕捉上下文特征。文章详细阐述了BiRNN的数学定义和架构，包括正向/反向隐藏状态的计算方法以及输出层的拼接处理。提供了两种PyTorch实现方案：自定义实现和使用内置RNN模块的简化实现，并通过测试代码验证了模型输出的正确性。BiRNN特别适合需要全局上下文理解的任务，如机器翻译和语音识别等，能有效提升序列数据的建模能力。
【debug】解决 5070ti 与 pytorch 版本不兼容的问题
2301_79601111的博客
11-29 730
下载torch, torchvision（ torchvision要比torch日期晚一天）到本地，然后：pip install 本地的下载路径。print(torch.cuda.get_device_name(0)) # 获取第一个 GPU 的名字。print(torch.cuda.get_arch_list()) # 应包含'sm_120'nvidia-smi查到的可容纳的最大cuda的版本>=cuda版本>=pytorch版本。我查到的是12.8，那么我的cuda也下载12.8。
开源 vs 商业：主流AI生态概览——从PyTorch到OpenAI的技术格局之争
已掌握java全栈，简单的java项目逻辑。目前正在学习鸿蒙开发，有兴趣的小伙伴可以一起学习！！！
11-29 798
在人工智能迅猛发展的今天，开发者和企业面临一个关键选择：是拥抱开放协作的开源生态，还是依赖高效便捷的商业平台？TensorFlow、PyTorch、Hugging Face、OpenAI……这些名字不仅代表技术框架，更象征着两种截然不同的AI发展哲学。本文将深入对比主流AI平台，解析它们在技术、社区、商业模式与未来方向上的异同，助你做出更明智的技术选型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值