ray.rllib-入门实践-14：自定义多智能体强化学习-模型加载与评估

wzg2016

关注

VIP免费原创 2025-04-02 20:51:10 907 阅读 AI 写同款· GEO 优化 ›

基于Afsim与多智能体强化学习构建高保真协同决策仿真平台 多智能体强化学习（MARL）是人工智能领域的前沿方向，它研究多个智能体在共享环境中通过试错学习协作策略。其核心原理在于通过中心化训练与去中心化执行的范式，解决信用分配与非平稳环境等挑战。该技术能赋予无人机集群、无人车队等系统自主协同决策能力，在军事仿真、智能交通、游戏AI等复杂动态场景中具有极高价值。本文聚焦于如何将MARL算法与高保真仿真框架Afsim深度集成，构建一个从算法训练到效果验证的完整闭环。通过Afsim模拟的传感器、通信与动力学模型，智能体能在逼近真实的环境中学习协同搜索、围捕等任务。文中详细阅读详情

博客 ray.rllib-入门实践-13：自定义多智能体强化学习中，没有对预训练的模型加载进行介绍，这里进行补充。

环境配置：

torch==2.5.1

ray==2.10.0

ray[rllib]==2.10.0

ray[tune]==2.10.0

ray[serve]==2.10.0

numpy==1.23.0

python==3.9.18

方式1：alorithm(config=config).from_checkpoint()

给模型配置好环境和多智能体的配置细节后，加载checkpoint

为了保证单文件的可执行性，把自定义的多智能体环境 My_Multi_Agent_Env 拷贝了过来。相关checkpoint使用了 ray.rllib-入门实践-12：自定义多智能体强化学习训练得到的智能体，读者也可以使用本文代码自己生成 checkpoint.

import ray 
from ray import tune 
from ray.rllib.algorithms.ppo import PPO, PPOConfig 
from ray.tune.registry import register_env
from ray.rllib.env.multi_agent_env import MultiAgentEnv 
from gymnasium import spaces
import numpy as np 

## 1. 定义多智能体环境
class My_Multi_Agent_Env(MultiAgentEnv):
    def __init__(self,env_config):
        ## 初始化智能体ID列表
        self.agents = env_config["agents"]
        ## 定义每个智能体的动作空间， 这里默认多个智能体的动作空间一样
        self.action_space = spaces.Box(low=-1,high=1,shape=(3,))
        ## 定义每个智能体的观测空间， 这里默认多个智能体的观测空间一样
        self.observation_space = spaces.Box(low=-1,high=1,shape=(5,))
        self.step_count = 0

    def reset(self, *, seed=None, options=None):
        self.step_count = 0
        obs,info = {}, {}
        for agent_name in self.agents:
            obs[agent_name] = self.observation_space.sample()
            info[agent_name] = {}
        return obs,info
    
    def step(self,action):
        self.step_count += 1

        obs,reward,terminated,tr