Kiek17的博客

如何使用ray的tune进行调参

强化学习库，RLlib入门

算法类的**training_step()**方法定义了位于任何算法核心的可重复执行逻辑。将其视为研究论文中算法伪代码的python实现。您可以使用training_step（）来表达您希望如何协调从环境中收集样本、将这些数据移动到算法的其他部分，以及跨不同分布式组件更新和管理策略权重。简而言之，如果开发人员想要对现有算法进行自定义更改、从头开始编写自己的算法或从论文中实现一些算法，他们将需要覆盖/修改“training_step”方法。

RLlib适用于几种不同类型的环境，包括Farama-Foundation Gymnasium、用户定义、多智能体环境以及批处理环境。并非所有环境都适用于所有算法。查看算法概述以获取更多信息。

现有的基本强化学习方法总结，RLlib包含的RL算法总结，包括PPO,DQN等，包括多智能体RL算法简介

您可以提供在策略评估期间调用的回调。这些回调可以访问当前事件的状态。某些回调，如on_postprocess_trajectory、on_sample_end和on_train_result也是可以对中间数据或结果应用自定义后处理的地方。用户定义的状态可以为迭代中的episode.user_data dict，以及通过保存值到来报告的自定义标量指标 episode.custom_metrics dict。这些自定义指标custom_metrics将被聚合并作为训练结果的一部分报告。

ray-rllib实战

Rllib上的代码示例

强化学习，最新的ray，rllib，torch，GPU加速

get_cli_args函数是什么，store_true是什么

rllib的algo = Algorithm.from_checkpoint(ckpt)遇到error 3，从c盘拷贝文件到c盘发现路径不存在，两个路径一个比一个奇怪。升级ray的版本，我之前是2.6，升级到2.8就好了。

Ray的RLlib的用户手册，模型部分

在复杂环境中使用动作屏蔽，实现更好的训练效果

STABLE-BASELINE3，模型读取，再训练：有时候需要在已经训练好的模型基础上进行再次训练。

stable baseline3 PPO代码