【动手学强化学习】番外4-MAPPO benchmark+wandb算法训练结果记录

---

一、待解决问题

1.1 问题描述

了解到wandb是一个非常好的机器学习结果记录+可视化的平台，想用此作为算法运行结果的云记录。
注册wandb后，运行MAPPO benchmark 算法示例报错，追溯问题缘由并逐个解决。

1.2 解决方法

（1）追溯报错缘由。
（2）wandb解决效果。
（暂时无法使用，采用禁用wandb的方法）

二、方法详述

2.1 必要说明

• 什么是wandb？

wandb（Weights & Biases）是一个用于机器学习实验的记录、分析和共享的工具和平台。它旨在帮助研究人员、数据科学家和开发者更高效地监控、管理和优化机器学习模型的训练过程。
（1）实验管理和复现：自动记录和保存实验细节、代码和数据版本控制
（2）超参数调优：扫参自动化、结果比较和最佳参数选择
（3）可视化和分析
（4）团队协作和共享
（5）模型和资源管理

链接：https://wandb.ai/site

2.2 应用步骤

2.2.1 追溯报错缘由

先注册并在系统上登录wandb：

#Install the CLI and Python library for interacting with the Weights and Biases API.
pip install wandb

#Next, log in and paste your API key when prompted.将生成的密钥复制并登录。
wandb login

进入虚拟环境并运行 MAPPO+MPE 示例代码：

cd onpolicy/scripts/train_mpe_scripts
./train_mpe_spread.sh

报错：

wandb: ERROR failed to upsert bucket: returned error 403: {“data”:{“upsertBucket”:null},“errors”:[{“message”:“permission denied”,“path”:[“upsertBucket”],“extensions”:{“code”:“PERMISSION_ERROR”}}]}

解释如下：

这个报错信息的意思是，在尝试使用Weights & Biases (wandb) 进行实验记录时，出现了权限问题，导致无法创建或更新存储桶（bucket）。具体来说，错误信息如下：
wandb.errors.errors.CommError：这是一个通信错误，表明在与wandb服务器通信时出现了问题。
failed to upsert bucket：表示尝试创建或更新存储桶时失败。
returned error 403：HTTP状态码403表示“禁止访问”（Forbidden），即服务器理解请求的内容，但拒绝执行此请求。
permission denied：明确指出问题是权限不足，当前用户没有权限执行此操作。
path:[“upsertBucket”]：指出错误发生在尝试执行upsertBucket操作时。
extensions:{“code”:“PERMISSION_ERROR”}：进一步确认错误类型为权限错误。

一番了解过后，wandb 服务器主要部署在旧金山，国内无法直连，就还是只能离线运行代码。

将 ~/.netrc 中password 删除，下一次启动wandb时选择否。

三、疑问

暂无

四、总结

• 以后有必要的话就安装本地版本的，后续会更新。