XingTian 项目使用教程

XingTian 项目使用教程

1. 项目的目录结构及介绍

XingTian 项目的目录结构如下：

xingtian/
├── docker/
├── docs/
├── examples/
├── scripts/
├── simulator/
│   └── dp/
│       └── dp_competition/
├── tests/
├── xt/
├── zeus/
├── LICENSE
├── README.cn.md
├── README.md
├── requirements.txt
└── setup.py

目录结构介绍

• docker/: 包含与 Docker 相关的文件，用于容器化部署。
• docs/: 包含项目的文档文件，如用户指南、开发者指南等。
• examples/: 包含示例配置文件和代码，帮助用户快速上手。
• scripts/: 包含一些脚本文件，用于自动化任务。
• simulator/: 包含模拟器相关的代码，如 dp_competition。
• tests/: 包含项目的测试代码。
• xt/: 核心代码库，包含算法、模型、代理和环境的实现。
• zeus/: 可能包含与 Zeus 相关的代码或配置。
• LICENSE: 项目的许可证文件。
• README.cn.md: 中文版的项目介绍文档。
• README.md: 英文版的项目介绍文档。
• requirements.txt: 项目依赖的 Python 包列表。
• setup.py: 用于安装项目的 Python 脚本。

2. 项目的启动文件介绍

XingTian 项目的启动文件是 xt/main.py。该文件是整个项目的入口，负责加载配置文件并启动训练或评估任务。

启动文件介绍

• xt/main.py: 这是项目的启动文件，用户可以通过命令行调用该文件来启动训练或评估任务。

使用示例

python3 xt/main.py -f examples/cartpole_ppo.yaml -t train

• -f: 指定配置文件的路径。
• -t: 指定任务类型，如 train 或 evaluate。

3. 项目的配置文件介绍

XingTian 项目的配置文件通常是 YAML 格式，位于 examples/ 目录下。配置文件定义了算法、环境、代理和模型的参数。

配置文件示例

alg_para:
  alg_name: PPO
  alg_config:
    process_num: 1
    save_model: True
    save_interval: 100

env_para:
  env_name: GymEnv
  env_info:
    name: CartPole-v0
    vision: False

agent_para:
  agent_name: PPO
  agent_num: 1
  agent_config:
    max_steps: 200
    complete_step: 1000000
    complete_episode: 3550

model_para:
  actor:
    model_name: PpoMlp
    state_dim: [4]
    action_dim: 2
    input_dtype: float32
    model_config:
      BATCH_SIZE: 200
      CRITIC_LOSS_COEF: 1.0
      ENTROPY_LOSS: 0.01
      LR: 0.0003
      LOSS_CLIPPING: 0.2
      MAX_GRAD_NORM: 5.0
      NUM_SGD_ITER: 8
      SUMMARY: False
      VF_SHARE_LAYERS: False
      activation: tanh
      hidden_sizes: [64, 64]
    env_num: 10

配置文件介绍

• alg_para: 定义算法的参数，如算法名称、进程数、模型保存间隔等。
• env_para: 定义环境的参数，如环境名称、视觉信息等。
• agent_para: 定义代理的参数，如代理名称、最大步数、完成步数等。
• model_para: 定义模型的参数，如模型名称、状态维度、动作维度、模型配置等。

通过配置文件，用户可以灵活地调整算法、环境和模型的参数，以适应不同的强化学习任务。