ray.rllib-入门实践-12-1：在自定义policy中注册使用自定义model

最新推荐文章于 2025-12-26 21:59:01 发布
原创 最新推荐文章于 2025-12-26 21:59:01 发布 · 508 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #python #深度学习

 博客 ray.rllib-入门实践-11： 自定义模型/网络 中介绍了如何自定义一个model并注册到ray中去使用。除了直接向ray注册model之外，还有另外一种使用自定义的 model 的方式：在自定义的policy时，修改policy默认的model为自定义的model。 通过这种方式，在使用自定义的policy时，就默认使用了自定义的model, 不用再额外向ray注册，可以默认自定义的policy自动向ray注册了自定义的model。 如何自定义policy并使用见博客。

环境配置：

        torch==2.5.1

        ray==2.10.0

        ray[rllib]==2.10.0

        ray[tune]==2.10.0

        ray[serve]==2.10.0

        numpy==1.23.0

        python==3.9.18

最低0.47元/天 解锁文章
wzg2016
关注
基于Ray框架的PPO强化学习项目实战
weixin_35835030的博客
11-29 647
先定义一个简单的路径跟踪任务：import gym想看最大移动距离？碰撞次数？自定义回调帮你搞定：集成进去：训练时就能看到自定义指标啦！📈回顾一下，我们走了多远？从策略梯度的基本原理出发；揭秘了PPO如何用裁剪机制实现“稳健更新”；深入理解了GAE、多轮SGD等关键技术；掌握了Ray的分布式架构设计；学会了用RLlib快速搭建工业级RL系统；最后亲手跑通了一个完整项目！PPO的强大之处，不只是数学优美，更是理论与工程的完美结合。
learning ray之ray强化学习/超参调优和数据处理
zhaojiew的学习笔记
05-09 2615
当然，Ray还提供了更高级的库，比如RLLib，它提供了更丰富的强化学习算法和模型，可以处理更复杂的场景。这个类包含了游戏的关键信息：寻觅者的当前位置seeker，目标的位置goal，以及寻觅者可以执行的动作空间action_space和它能观察到的状态空间observation_space。这个过程会涉及到智能体的移动、状态的观察、奖励的获取，以及最终的决策。Simulation类的rollout方法就是实现这个过程的，它会跟踪游戏状态，执行策略动作，收集经验，并在游戏结束时返回所有经验。
ray.rllib-入门实践-12-2：在自定义policy中注册使用自定义model（给自定义model新增参数）
wzg2016的博客
04-02 726
本博客与之区别在于可以给自定义的 model 新增自定义的参数，并通过。传入自定义的新增参数。
ray.rllib-入门实践-12：自定义policy
wzg2016的博客
01-25 796
# 1. 自定义 policy， 主要是改变 policy 的 loss 的计算 # 神经网络的损失函数## PPOTorchPolicy 内部对 PPOConfig 格式的config 执行了to_dict()操作，后面可以以 dict 的形式使用 config## 原始损失original_loss = super().loss(model, dist_class, train_batch) # PPO原来的损失函数, 也可以完全自定义新的loss函数， 但是非常不建议。
ray.rllib-入门实践-13：自定义多智能体强化学习
wzg2016的博客
01-25 1921
需要继承自reset 函数和step函数接口需要与下面保持严格一致。每一个输出都变成了 key:value 字典。import ray## 1. 定义多智能体环境## 初始化智能体ID列表## 定义每个智能体的动作空间， 这里默认多个智能体的动作空间一样## 定义每个智能体的观测空间， 这里默认多个智能体的观测空间一样# 简单打印环境状态pass## 初始化智能体数量## 初始化智能体ID列表## 定义每个智能体的动作空间， 这里默认多个智能体的动作空间一样。
ray.rllib 入门实践-3： 配置参数列表
wzg2016的博客
01-24 1378
gamma: float, markov 决策过程的折扣因子， 奖励值的折扣因子。lr: 学习率grad_clip: 是否使用梯度裁剪。根据grad_clip_by的设置裁剪梯度。： 如果grad_clip不是None, 基于这个参数裁剪梯度。: 训练批量大小model: 传递到策略模型的参数。也可以通过成员变量的方式访问。optimizer: 传递给策略模型的参数。: 对每个采样进程的最大请求数。Returns: 返回更新的AlgorithmConfig对象。
RLlib一：RLlib入门
Kiek17的博客
11-13 4079
强化学习库，RLlib入门
Rllib学习[1] --rllib基本指令
upr_rom的博客
07-07 4066
讲述rllib中的基本操作
强化学习rllib简明教程 ray
热门推荐
Lejeune的博客
02-24 1万+
强化学习rllib简明教程 ray     之前说到强化 学习的库，推荐了tianshou，但是tianshou实现的功能还不够多，于是转向rllib，个人还是很期待tianshou的发展。     回到rllib，rllib是基于ray的一个工具（不知道这么说是不是合适），ray和rllib的关系就像，mllib之于spark，ray是个分布式的计算框架。     官网,文档。进入官网，
RLilib 训练API
weixin_43255962的博客
06-11 2214
1. 入门指南（命令行） 在高层次上，RLlib提供了一个训练器（Trainer）类，其中包含环境交互策略。通过trainer接口，可以对策略进行训练、检查或计算操作。在多智能体训练中，训练器同时管理多个策略的查询和优化。 你可以用以下命令训练一个简单的DQN训练器: rllib train --run DQN --env CartPole-v0 默认情况下，结果将被记录到~/ray_resu...
Day46
m0_70488789的博客
12-26 168
作业：手动构造类似的数据集（如cosx数据），观察不同的机器学习模型的差异。4. 经典机器学习在序列任务上的劣势；# DAY 46 序列预测任务介绍。b. 多步预测的2种方式。2. 序列数据的处理：滑动窗口。3. 多输入多输出任务的思路。
pytorch——神经网络框架的搭建以及网络的训练
qq_64131064的博客
12-26 215
本文总结了深度学习模型训练的完整流程：1）搭建网络骨架结构；2）下载预训练模型并迁移到自定义数据集；3）模型保存（完整模型或参数字典）与加载方法；4）标准训练流程包括数据准备、模型定义、损失函数和优化器设置；5）GPU加速训练的两种实现方式及注意事项；6）模型验证测试的完整代码示例，包含图像预处理、模型加载和推理过程；7）阅读他人代码的技巧，建议从train.py入手，重点关注参数设置和模型结构。文中提供了详细的代码片段和示意图，涵盖了从模型构建到部署应用的全流程关键技术点。
【AI课程领学】第四课1/3：CNN 基本组件与操作——卷积/步幅/填充/池化/归一化/激活/感受野（含 PyTorch + NumPy）
2401_89898861的博客
12-25 1498
【AI课程领学】第四课1/3：CNN 基本组件与操作——卷积/步幅/填充/池化/归一化/激活/感受野（含 PyTorch + NumPy）
PyTorch 2.0 核心技术深度解析torch.compile 从原理到实践
island1314的博客
12-25 5778
通过 TorchDynamo 的字节码重写、AOT Autograd 的图优化和 TorchInductor 的代码生成，实现了在保持 PyTorch 灵活性的同时获得接近静态图的性能。随着深度学习模型复杂度的不断提升，模型推理和训练的性能优化成为了业界关注的焦点。PyTorch 2.0 引入的 torch.compile 功能，通过即时编译（JIT）技术实现了显著的性能提升。随着技术的不断成熟，torch.compile 必将成为 PyTorch 生态系统中不可或缺的核心组件。：无法进行全局内存优化。
一文详解PyTorch DDP
hello！
12-24 682
PyTorch DDP 是一种高性能、可扩展、工业级的多 GPU / 多机训练方案，通过多进程 + 梯度 All-Reduce 实现高效数据并行。
第N11周：seq2seq翻译实战-Pytorch复现
最新发布
m0_46260522的博客
12-26 377
5.2 注意力解码器（AttnDecoderRNN）7.2 训练迭代主循环。
动态分辨率的ioufsd
weixin_39544891的博客
12-22 510
from utils.metrics import ap_per_class, ConfusionMatrix, batch_pix_accuracy,batch_pix_accuracy_class, batch_intersection_union,batch_pix_accuracy_class_tda2 # 后两个新增分割。#/ai/DataSets/OD_FSD_zh/psd_v2.0/data/83_psd_20240723_占用属性优化/alldata/test_img_list.txt。
图像超分辨率 — HAT训练及测试教程（Pytorch）
加斯顿工程师的博客
12-22 56
HAT是在2023年发表于CVPR的先进图像超分辨率模型，全称是 Hybrid Attention Transformer，中文可译为：混合注意力Transformer。它是由中科院和上海人工智能实验室的研究团队在2022年提出，HAT是在SwinIR的基础上进行改进，成功地将Transformer架构在图像超分辨率任务上的性能推上了一个新的高度，在一段时间内占据了多个主流超分Benchmark（如Set5, Set14, Urban100等）的榜首。它的核心思想是通过巧妙地融合通道注意力、自注意力等机制，
PyTorch Lightning Callback 指南
m0_56086190的博客
12-24 912
定义：Callback 是一个可以在训练循环的特定阶段被调用的对象，用于执行自定义操作。核心特点继承自基类通过重写钩子方法（hook methods）来插入自定义逻辑在Trainer的特定时刻自动被调用# 获取父类的指标# 自定义显示格式（如显示更多小数位）items = {k: f"
import ray.rllib.agents.ppo as ppo ModuleNotFoundError: No module named 'ray.rllib.agents.ppo'怎么配置ray.rllib.agents
07-12
要配置ray.rllib.agents.ppo，您需要按照以下步骤进行操作： 1. 首先，确认您已经安装了ray库。您可以使用以下命令来安装ray： ``` pip install ray ``` 2. 确保您的ray版本是最新的。您可以使用以下命令来升级ray： ``` pip install --upgrade ray ``` 3. 检查ray的安装是否成功。您可以使用以下命令来验证： ``` import ray ray.init() ``` 如果没有报错，则说明ray已经成功安装。 4. 安装rllib库。您可以使用以下命令来安装rllib： ``` pip install ray[rllib] ``` 这将安装ray的rllib模块和所有依赖项。 5. 验证rllib的安装是否成功。您可以使用以下命令来验证： ``` import ray.rllib.agents.ppo as ppo ``` 如果没有报错，则说明您已成功配置ray.rllib.agents.ppo。现在您可以使用ppo模块进行强化学习实验了。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值