采集Doris的FE和BE 日志到对象存储

原创

已于 2022-11-15 18:42:51 修改 · 668 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #linux #服务器

于 2022-11-15 14:19:06 首次发布

该脚本主要用于Doris系统的FE日志收集，每10秒检查一次新日志，未上传的非tar.gz文件将被打包成tar.gz，并使用curl命令上传到腾讯云COS。日志上传状态、临时文件管理和删除、时间戳记录等功能一并实现。

import os
import socket
import time

#doris log dir
log_src_dir="/data/doris-decimal/output/fe/log/"
#tar.gz temp dir
log_temp_dir="/data/doris-/temp/log/"
#record upload log
log_file="/data/doris-/temp/log"
#role
role = "fe"
#how log check log
interval_time_sec = 10
#whic bucket to upload
"""
the result is : bucket_url + role + ip + log.tar.gz
run: nohup python3 doris-log-s3.py >> &
"""
bucket_url = "https://yourbucketinfo.cos.ap-beijing.myqcloud.com"

#create file and directory
os.system("touch {}".format(log_file))
os.