ray.rllib入门实践-1： 快速跑通

环境配置：

        torch==2.5.1

        ray==2.10.0

        ray[rllib]==2.10.0

        ray[tune]==2.10.0

        ray[serve]==2.10.0

        numpy==1.23.0

        python==3.9.18

代码：

from ray.rllib.algorithms.ppo import PPOConfig
from ray.tune.logger import pretty_print

## 配置算法
algo = (
    PPOConfig()
    .rollouts(num_rollout_workers=1)
    .resources(num_gpus=0)
    .environment(env="CartPole-v1")
    .build()
)

## 训练模型. 每个 iter 里重复执行多次 episode. 直到满足条件， 比如新增采样量达到一定体量。
for i in range(3):
    result = algo.train()
    print(pretty_print(result))

## 保存模型
checkpoint_dir = algo.save().checkpoint.path   
## algo.save()用于实现存储checkpoint, 后面跟着的.checkpoint.path用于返回存储路径
print(f"Checkpoint saved in directory {checkpoint_dir}")

参考：

1. RLlib: Industry-Grade, Scalable Reinforcement Learning — Ray 2.41.0

2. RLlib一：RLlib入门-优快云博客