Unity-ML-Agents-训练生成的results文件解读-PushBlock

最新推荐文章于 2025-02-12 18:43:48 发布

原创

最新推荐文章于 2025-02-12 18:43:48 发布 · 1k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#强化学习 #深度学习 #深度强化学习 #人工智能

本文详细介绍了ML-Agents训练过程中产生的各类文件，包括checkpoint.pt（模型参数）、events.out.tfevents（TensorBoard日志）、.onnx和.pt模型文件的用途和解析，以及如何利用这些文件进行模型推理和训练状态追踪。此外，还提到了配置文件configuration.yaml在训练过程中的作用。

前言

训练结果文件路径：E:\ml-agents-release_19\results\push_block_test_02（具体路径以自己电脑为准）

ML-Agents安装和PushBlock训练过程请见：（注意：push_block_test_02没有全部训练完毕）

参考博客：https://blog.youkuaiyun.com/aaaccc444/article/details/130253172

1. push_block_test_02

1.1 PushBlock

1.1.1 checkpoint.pt

checkpoint.pt是ML-Agents在训练过程中保存的一个检查点文件，包含了当前训练状态下所有的模型参数。这个文件是使用PyTorch的torch.save()函数进行保存的，其中包含了一个字典对象，记录了当前训练状态下所有的神经网络参数和优化器参数等。

保存检查点文件的主要目的是为了方便后续的模型推理或者继续训练。

在推理阶段，可以加载之前保存的检查点文件，使用保存的模型参数进行模型预测；在继续训练阶段，可以加载之前保存的检查点文件，继续从上次训练的状态下进行训练，而不是从头开始重新训练，从而节省训练时间。

checkpoint.pt文件是PyTorch中的模型权重文件，可以使用PyTorch加载器（如torch.load()）加载并读取其中的权重信息。具体使用方法可以参考PyTorch官方文档中的相关章节。

1.1.2 events.out.tfevents.1681914599.DESKTOP-EL11195.21140.0

（1）events.out.tfevents.*文件是TensorBoard的日志文件，记录了训练过程中的各种信息，如损失函数变化、准确率变化等。可以使用TensorBoard读取这些日志文件，生成相应的可视化图表。要使用TensorBoard查看events.out.tfevents.*文件，可以在命令行中运行以下命令：

tensorboard --logdir=path/to/logs

其中path/to/logs是events.out.tfevents.*文件所在的目录。执行命令后，TensorBoard会启动一个Web服务器，并自动在浏览器中打开相应的网页。在网页上，可以选择不同的图表，查看训练过程中各种信息的变化趋势。

例如：

(mlagents) E:\ml-agents-release_19>tensorboard --logdir=E:\ml-agents-release_19\results\push_block_test_02\PushBlock
TensorFlow installation not found - running with reduced feature set.
Serving TensorBoard on localhost; to expose to the network, use a proxy or pass --bind_all
TensorBoard 2.12.2 at http://localhost:****/ (Press CTRL+C to quit)

（2）.1681914599.DESKTOP-EL11195