spdlog在多线程中的使用

本文介绍如何使用C++下的高性能日志库spdlog进行多线程日志记录。通过实例演示了如何配置日志输出格式、创建日志文件及在不同线程中输出日志信息。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

开发需要,最近调研了几个C++下的log库,包括log4CPP、Google glog、z-log、EasyLogger、spdlog等,鉴于spdlog的高性能且只包含头文件,且线程安全,需要的特性基本都有了,最后决定,就它了!

spdlog是开源的,源码可访问https://github.com/gabime/spdlog

spdlog可选择向控制台、文件、系统日志以及控制器等目标输出日志,并可设置日志输出级别,以及定义日志输出格式等。

本人主要关注多线程向文件的日志输出,所以其他几个特性暂时先忽略。写了个测试程序,测试两个线程分别向同一个log文件输出日志。

spdlog的头文件放在了环境变量/user/local/include中。由于实际使用中,存在跨文件调用spdlog功能,因此我将其封成了一个类。

#include <iostream>
#include <cstring>
#include <sstream>
#include "spdlog/spdlog.h" 
#include "spdlog/sinks/basic_file_sink.h"
#include "spdlog/logger.h"

#define LOG_PATH "./log/"    //存在log的子目录

#define USE_LOG_FILE 1

using namespace std;

class MY_LOG
{
public:
	MY_LOG()
	{
		log_file_created = false;   
		logger_droped = false;  
	}
	
	string log_file_name;    //log文件名
	std::shared_ptr<spdlog::logger> my_logger;   //创建的logger指针
	
	bool log_file_created;  //Log文件已创建标志,以免有进程访问了不存在的Log file
	bool logger_droped;     //循环创建log文件时使用,此测试程序中暂未使用

	void create_log_file()
	{
		stringstream log_full_path;
		log_full_path << LOG_PATH << log_file_name;
		if(access(LOG_PATH, F_OK) != 0)
		{
			mkdir(LOG_PATH, S_IRWXU);  //首先检查log目录是否存在,不存在则创建
		}
		my_logger = spdlog::basic_logger_mt("basic_logger", log_full_path.str());	//创建basic_logger,注意该函数创建的是支持多线程的文件输出
		spdlog::set_pattern("[%Y-%m-%d %T][thread %t][%l]%v");   //设置logger的输出格式
	}

	void destroy_logger()
	{
		spdlog::drop("basic_logger");   //logger使用完成后,要执行drop操作,否则不能循环创建同一类型的logger
	}

};

为了让多个函数甚至多个文件使用以上logger类,将其定义成了全局变量:

MY_LOG my_log;

简单地写两个线程函数:

第一个函数,首先创建名为mylog.log的log文件,然后实现0~100数字的自相加操作,并将相加结果输出到文件my_log.log文件中。

void *func_1(void *arg)
{
	my_log.log_file_name = "mylog.log";
	my_log.create_log_file();
	my_log.log_file_created = true;
	//my_log.logger_droped = false;
	
	for(int i = 0; i < 100; i++)
	{
		my_log.my_logger->info("{0:d} + {1:d} = {2:d}", i, i , i + i);  //参数输出的格式,使用{},{}中的0、1、2指示第几个参数,:后的d指示以十进制整数形式输出
		usleep(100000);
	}
	
	return NULL;
}

第二个函数,实现0~100数字的自相乘计算,并将结果输出到mylog.log中。由于与func_1使用同样的log文件,因此不需要再次创建logger,但需要首先判断文件是否存在,否则会出现程序崩溃。

void *func_2(void *arg)
{

	while(!my_log.log_file_created)
	{
		usleep(100000);
	}
	
	for(int i = 0; i < 100; i++)
	{
		my_log.my_logger->info("{0:d} x {1:d} = {2:d}", i, i , i * i);
		usleep(100000);
	}
	
	return NULL;
}

主函数,为以上两个函数创建多线程:

int main()
{
	pthread_t thread_1, thread_2;
	
	pthread_create(&thread_1, NULL, func_1, NULL);
	pthread_create(&thread_2, NULL, func_2, NULL);
	
	pthread_join(thread_1, NULL);
	pthread_join(thread_2, NULL);
	
	my_log.destroy_logger();
	
	return 0;
	
}

编译:

 g++ -std=c++11 spdlog_test.cpp -o spdlog_test -lpthread

注意加上多线程库pthread。

执行完成,下面是一段输出文件mylog.log截图,可见两个函数的输出交替执行(代码中为了防止函数执行速度过快导致看起来像是顺序执行的现象,在每个函数中添加了usleep(100000),每执行完一步后,等待100ms)。

注意红框中的格式,是我们在代码中通过如下语句设置的:

spdlog::set_pattern("[%Y-%m-%d %T][thread %t][%l]%v");

格式说明如下(图片来自网络http://www.mamicode.com/info-detail-2188380.html):

代码中,我们log内容的输出是通过如下info方式:

my_log.my_logger->info("{0:d} + {1:d} = {2:d}", i, i , i + i);

在代码中,可以根据消息的级别,比如warning、error等,分别使用warn()和error()等方式,支持的级别如下:

typedef enum
{
    trace = 0,
    debug = 1,
    info = 2,
    warn = 3,
    err = 4,
    critical = 5,
    off = 6
} level_enum;

如果,我们将测试代码中的输出级别分别设置成warning和error:

 my_log.my_logger->warn("{0:d} + {1:d} = {2:d}", i, i , i + i);
my_log.my_logger->error("{0:d} x {1:d} = {2:d}", i, i , i * i);

输出log就是这个样子:

在多进程环境中使用 `spdlog` 需要特别注意日志文件的并发访问问题,因为多个进程可能会同时尝试写入同一个日志文件。如果处理不当,可能导致日志信息混乱、数据损坏或文件锁竞争等问题。以下是几种在多进程环境下正确使用 `spdlog` 的方法和建议: ### 使用 `spdlog::file_sink` 并确保线程与进程安全 `spdlog` 提供了基于文件的日志记录器 `file_sink`,但默认情况下它并不保证多进程安全。为了在多进程环境中安全地写入日志,可以使用带有文件锁的 `spdlog::sinks::basic_file_sink` 或 `spdlog::sinks::rotating_file_sink`,并通过文件锁机制防止多个进程同时写入。 ```cpp #include <spdlog/sinks/basic_file_sink.h> #include <spdlog/spdlog.h> int main() { // 启用文件锁,确保多进程环境下的日志写入安全 auto file_logger = spdlog::basic_logger_mt("file_logger", "logs/basic.txt", true); file_logger->info("Logged from process {}", getpid()); return 0; } ``` 上述代码中,第三个参数 `true` 表示启用文件锁(file locking),这可以有效防止多个进程同时写入同一日志文件时引发的问题[^1]。 ### 使用 `spdlog::sinks::daily_file_sink` 按日期分割日志文件 为了避免多个进程写入同一个文件,可以为每个进程生成独立的日志文件,例如按进程ID或日期命名。`spdlog` 提供了 `daily_file_sink`,它可以根据时间自动创建新的日志文件。 ```cpp #include <spdlog/sinks/daily_file_sink.h> #include <spdlog/spdlog.h> #include <unistd.h> // getpid int main() { pid_t pid = getpid(); std::string log_filename = "logs/daily_log_" + std::to_string(pid) + ".txt"; auto daily_logger = spdlog::daily_file_logger_mt("daily_logger", log_filename); daily_logger->info("Logged from process {}", pid); return 0; } ``` 这种方法确保了每个进程都有独立的日志文件,避免了并发写入冲突,同时也便于日志分析与归档[^1]。 ### 使用 `spdlog::sinks::rotating_file_sink` 进行日志轮转 如果多个进程需要共享一个日志文件,建议使用 `rotating_file_sink` 并结合文件锁来确保写入安全。该 sink 支持日志文件的大小轮转,避免单个日志文件过大。 ```cpp #include <spdlog/sinks/rotating_file_sink.h> #include <spdlog/spdlog.h> int main() { // 每个进程使用相同的日志文件,但启用文件锁 auto rotating_logger = spdlog::rotating_logger_mt("rotating_logger", "logs/rotating.txt", 1024 * 1024 * 5, 3, true); rotating_logger->info("Logged from process {}", getpid()); return 0; } ``` 通过设置 `true` 参数启用文件锁,确保多进程写入时的同步性与一致性。 ### 使用异步日志减少锁竞争 `spdlog` 支持异步日志记录(async logging),可以将日志操作放入后台线程执行,从而减少主线程的阻塞时间。在多进程环境下,异步日志可以降低进程间锁竞争的频率。 ```cpp #include <spdlog/async.h> #include <spdlog/sinks/basic_file_sink.h> #include <spdlog/spdlog.h> int main() { // 初始化异步日志系统 auto async_file_logger = spdlog::basic_logger_mt<spdlog::async_factory>("async_logger", "logs/async.txt"); async_file_logger->info("Logged asynchronously from process {}", getpid()); spdlog::shutdown(); // 确保所有异步日志写入完成 return 0; } ``` 异步日志通过队列机制将日志消息暂存,并由后台线程统一处理,有助于提高多进程环境下的日志写入性能[^1]。 ### 集中式日志收集方案(如 syslog-ng) 如果多个进程的日志需要集中管理,可以考虑将 `spdlog` 与 `syslog-ng` 等集中式日志收集工具结合使用。`spdlog` 可以通过自定义 sink 将日志发送到 `syslog` 或网络日志服务器,从而实现统一的日志管理与分析[^3]。 ---
评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值