Reinforcement Learning Algorithms 开源项目教程

Reinforcement Learning Algorithms 开源项目教程

rl_algorithms Structural implementation of RL key algorithms 项目地址: https://gitcode.com/gh_mirrors/rl/rl_algorithms

1. 项目介绍

本项目 rl_algorithms 是一个开源的强化学习算法库，包含了多种强化学习算法的实现，用于研究和开发。该项目由Medipixel团队维护，并欢迎外部贡献者参与。项目中包含了如Advantage Actor-Critic (A2C)、Deep Deterministic Policy Gradient (DDPG)、Proximal Policy Optimization (PPO)等算法，并在多种环境中进行了性能测试。

2. 项目快速启动

环境准备

本项目在Anaconda虚拟环境中进行测试，要求Python版本为3.6.1及以上。

conda create -n rl_algorithms python=3.7.9
conda activate rl_algorithms

为了运行Mujoco环境（例如Reacher-v2），需要获取Mujoco许可。

安装

首先，克隆仓库：

git clone https://github.com/medipixel/rl_algorithms.git
cd rl_algorithms

对于使用者：

安装执行代码所需的包：

make dep

对于开发者：

如果需要修改代码，应配置格式化和静态检查设置。这些设置在提交代码时会自动运行。与make dep命令不同，它包括：

make dev

完成make dev后，可以使用以下命令验证代码：

make format  # 格式化
make test  # 静态检查

使用

如果存在configs/env_name/algorithm.yaml配置文件，可以在algorithm上训练或测试env_name环境。

python run_env_name.py --cfg-path <config-path>

例如，运行LunarLanderContinuous-v2上的软演员-评论家（Soft Actor-Critic）：

python run_lunarlander_continuous_v2.py --cfg-path ./configs/lunarlander_continuous_v2/sac.yaml <other-options>

如果有自定义的配置文件configs/env_name/ddpg-custom.yaml，也可以运行自定义的agent：

python run_env_name.py --cfg-path ./configs/lunarlander_continuous_v2/ddpg-custom.py

3. 应用案例和最佳实践

本项目中的算法已经在多种环境中进行了测试，以下是一些案例和最佳实践：

• 在PongNoFrameskip-v4环境中，RainbowIQN算法能在100个episode内达到完美分数（21分）。
• 在LunarLanderContinuous-v2环境中，SAC和TD3算法表现出色。
• 在Reacher-v2（Mujoco）环境中，DDPG、TD3和SAC算法能够达到约-3.5到-4.5的分数。

4. 典型生态项目

本项目是强化学习算法研究的一个典型开源项目，类似的生态项目还包括：

• TensorFlow Reinforcement Learning（TF-RL）：TensorFlow的强化学习库。
• Stable Baselines：基于PyTorch的强化学习算法实现。
• RLlib：由Ray提供的可扩展的强化学习库。

这些项目都为强化学习算法的研究和应用提供了丰富的资源和支持。

rl_algorithms Structural implementation of RL key algorithms 项目地址: https://gitcode.com/gh_mirrors/rl/rl_algorithms