python 多卡logger，只在卡0打印，同时可选去掉时间和INFO，打印args参数

原创已于 2024-08-12 16:48:43 修改 · 463 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #github #深度学习

于 2024-05-02 19:50:35 首次发布

本文介绍了一个Python函数create_logger，用于在多GPU环境下创建日志记录器。该函数支持仅在主GPU上输出日志，并可选择移除日志中的时间戳和INFO级别。此外，文章还展示了如何使用此函数记录命令行参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

def create_logger(log_file=None, rank=0, log_level=logging.INFO,time=True):
    if rank>0:
        logger_not_root = logging.getLogger(name=__name__) 
        logger_not_root.propagate = False
        return logger_not_root
    logger = logging.getLogger(__name__)
    logger.setLevel(log_level)  
    if time:
        datefmt = '%Y-%m-%d %H:%M:%S'
        formatter = logging.Formatter('%(asctime)s %(levelname)s %(message)s',datefmt=datefmt)
    else:
        formatter = logging.Formatter('%(message)s')
    console = logging.StreamHandler()
    console.setLevel(log_level)
    console.setFormatter(formatter)
    logger.addHandler(console)
    if log_file is not None:
        file_handler = logging.FileHandler(filename=log_file)
        file_handler.setLevel(log_level)
        file_handler.setFormatter(formatter)
        logger.addHandler(file_handler)

    logger.propagate = False
    return logger

创建logger

log_file_path=os.path.join(args.output_dir,'log.txt')

logger = create_logger(log_file=log_file_path, rank=rank)

分行打印args

# 打印参数
message = '\n'.join([f'{k:<20}: {v}' for k, v in vars(args).items()])
logger.info(message)