Linux保存并实时查看训练日志

最新推荐文章于 2025-02-19 21:25:35 发布

原创最新推荐文章于 2025-02-19 21:25:35 发布 · 1.7k 阅读

2 ·

CC 4.0 BY-SA版权

在Linux环境下，为了解决模型训练过程中实时查看和保存输出信息的问题，可以使用nohup和unbuffer命令。首先需要安装expect-dev和ceumetsatexpect包，然后通过nohup和unbuffer来实现输出重定向到log.txt文件，并能实时查看文件内容。遇到'can’t find package Expect'错误时，需解决依赖冲突。使用`tail -f log.txt`或`less log.txt`可以实时监控日志。

模型训练时会在命令行输出信息以显示进度

我们想要保存这个记录可以使用重定向

但是重定向是在训练完成之后，将记录写入文件

也就是说，在训练过程当中无法实时查看

我们可以用nohup和unbuffer等命令实现效果

当然在使用前需要先安装，这里是ubuntu

conda的那个命令是因为好像有啥冲突¹

sudo apt update
sudo apt install expect-dev
conda install -c eumetsat expect

安装完就可以使用了，参考博文²

nohup unbuffer python LightGBM4.py > log.txt 2>&1

实时查看我们可以

tail -f log.txt
或者
less log.txt

还有一些其他文章³⁴

can’t find package Expect while executing “package require Expect” (file “/usr/bin/unbuffer” line 6)问题解决 ↩︎
Linux实时将所有输出重定向到文件 ↩︎
Linux输出重定向 >> 文件 2>&1 ↩︎
Linux中将终端的打印结果输出到文本文件中 ↩︎