pytorch里如何使用logger保存训练参数日志？

最新推荐文章于 2025-02-20 22:48:02 发布

原创

最新推荐文章于 2025-02-20 22:48:02 发布 · 1.4w 阅读

110 ·

CC 4.0 BY-SA版权

文章标签：

#logging

该博客介绍了如何使用Python的logging模块来记录并保存训练过程中关键指标如loss和accuracy。通过定义一个get_logger函数，可以同时将日志输出到终端和指定文件中。在训练脚本中，通过调用get_logger创建日志器，并在每个epoch结束后更新并记录loss和accuracy。这种方法有助于跟踪和分析模型的训练进度。

如果是指保存训练过程中的loss，accuracy等metric的话，可以采用下面的方法：


import logging

def get_logger(filename, verbosity=1, name=None):
    level_dict = {0: logging.DEBUG, 1: logging.INFO, 2: logging.WARNING}
    formatter = logging.Formatter(
        "[%(asctime)s][%(filename)s][line:%(lineno)d][%(levelname)s] %(message)s"
    )
    logger = logging.getLogger(name)
    logger.setLevel(level_dict[verbosity])

    fh = logging.FileHandler(filename, "w")
    fh.setFormatter(formatter)
    logger.addHandler(fh)

    sh = logging.StreamHandler()
    sh.setFormatter(formatter)
    logger.addHandler(sh)

    return logger

可以在输出到终端的同时输出到filename文件中。

使用时在训练脚本train.py中写入：

logger = get_logger('/path/to/exp/exp.log')

logger.info('start training!')
for epoch in range(MAX_EPOCH):
    ...
    loss = ...
    acc = ...
    logger.info('Epoch:[{}/{}]\t loss={:.5f}\t acc={:.3f}'.format(epoch , MAX_EPOCH, loss, acc ))