10、RLlib 深入：模型、配置与多环境应用

RLlib 深入：模型、配置与多环境应用

1. 模型处理与输出获取

在强化学习中，对环境观测值的处理是关键步骤。我们可以使用 ray.rllib.models.preprocessors 中的 get_preprocessor 来获取策略使用的预处理器。以下是具体的操作步骤：
1. 初始化环境：

from ray.rllib.models.preprocessors import get_preprocessor
env = GymEnvironment()
obs_space = env.observation_space

2. 获取预处理器并处理观测值：

preprocessor = get_preprocessor(obs_space)(obs_space)
observations = env.reset()
transformed = preprocessor.transform(observations).reshape(1, -1)

3. 获取模型输出：

model_output, _ = model({"obs": transformed})

4. 访问 Q 值和动作分布