rsyslog打印会丢失log的问题

最新推荐文章于 2025-07-16 12:39:48 发布
原创 最新推荐文章于 2025-07-16 12:39:48 发布 · 5.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一个rsyslog日志丢失的问题及其解决方法。通过调整rsyslog的配置文件，修改率限制（RateLimit）参数，避免日志信息在高负载下被丢弃。适用于Redhat 6.3及以上版本。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

今天遇到打印到rsyslog的log信息有丢失的问题，一直查log代码本身的是否有问题和验证确认是否丢失。忽略了使用rsyslog的错误会有系统log，最后查看syslog，（ /var/log/messages），发现里面有丢log的信息：
Nov 29 13:21:05 yx116 rsyslogd-2177: imuxsock begins to drop messages from pid 26054 due to rate-limiting
Nov 29 13:21:11 yx116 rsyslogd-2177: imuxsock lost 5763 messages from pid 26054 due to rate-limiting

解决方案：
echo ‘$SystemLogRateLimitInterval 1’ >> /etc/rsyslog.conf
echo ‘$SystemLogRateLimitBurst 300’ >> /etc/rsyslog.conf
重启rsyslog
/etc/init.d/rsyslog resart

二.Redhat 6.3中rsyslog的Rate Limit配置
所谓Rate limit就是指，在某个固定的时间段内，syslog最多允许打印的log信息数量（多出的log信息将被丢弃）。在Redhat 6中，由配置文件/etc/rsyslog.conf中以下两个配置项决定：
$SystemLogRateLimitInterval [Number1]: Number1 为设定的限制的时间间隔大小
$SystemLogRateLimitBurst [Number2]: Number2 为在设定的限制的时间间隔内,最多输出的log信息数量。
在设定完后，则表示在每一个Number1时间间隔内，如果超过Number2个数的log信息将会被去除。 默认Number1为5秒钟，Number2为200. 但如果我们不希望，在打印的log时有丢失，则可以在/etc/rsyslog.conf中添加或者设置：
$SystemLogRateLimitInterval 0  
当然设置完成后，一定要记得重新启动rsyslog服务(用命令:service rsyslog restart)哦。
Note： rsyslog 5.7.1之后的版本才添加了此功能，而Redhat 6.3采用的是rsyslog 5.8.10。

rsyslog 同步丢失问题
zhaoyangjian724的专栏
09-28 857
[root@dr-mysql01 zjzc_log]# wc -l localhost_access_log.2016-09-27.txt 24004 localhost_access_log.2016-09-27.txt [root@dr-mysql01 zjzc_log]# wc -l aa 23989 aa 差15行日志
记录rsyslog丢日志问题
死磕音视频
08-18 1931
现象 使用rsyslog记录opensips的日志，当访问量大的时候，会出现丢日志的问题 在系统日志有以下输入 imjournal: 12856 messages lost due to rate-limiting 或者 Suppressed 6273 messages from /user.slice/user-1085.slice 原因 在 Linux 中，默认情况下有一些不同的机制可能会限制速率日志记录。这些主要是默认设置的 systemd 日志和 rsyslog 速率限制。 为什么限速？ 日志记录的
rsyslog center诡异丢日志问题分析解决
weixin_34283445的博客
11-19 748
一，问题情景：我们有多台apache server，apache上的access log会通过rsyslog client传送给rsyslog center汇总并展示给用户。最近一段时间，有多个用户反馈自己的access log不全，有丢失的现象。而我们之前的相关变更是把用户的debug日志和info日志放在相同的一个日志级别中传输。二,查找原因及解决办法：1,部署监控我们给...
nginx 通过rsyslog发日志 rsyslog服务器挂掉 日志丢失问题
weixin_30654419的博客
08-10 264
nginx 配置: user nginx; worker_processes 1; syslog local5 nginx-zjzc01; rsyslog 服务器收到的消息: -rw-r--r-- 1 root root 190 Aug 10 16:08 aa.log zjtest7-frontend:/tmp# cat aa.log Aug 10 16:10:02 jrh...
Linux：rsyslog 日志丢失 messages lost due to rate-limiting
hhd1988的专栏
04-07 1363
Linux：rsyslog 日志丢失 messages lost due to rate-limiting
journal/rsyslog日志丢失问题解决
legend050709的专栏
12-06 2457
syslog
ubuntu中的rsyslog
小孩儿的专栏
01-25 2644
Rsyslog 是一个 syslogd 的多线程增强版，依然基于Syslog协议（linux6之前默认使用syslog程序，centos6用rsyslog所取代）完成系统日志的处理转发，官方形容它是一个极速（如火箭般快速）的日志处理系统。
84、日志记录与监控：systemd 日志上传及 rsyslog 配置详解
最新发布
q6r7s8t9的博客
07-16 27
本文详细介绍了如何配置 systemd-journal-upload 服务将日志上传至备份服务器，以及使用 rsyslog 工具进行日志的处理与存储。涵盖了 systemd 日志上传配置、rsyslog 的模块与配置文件、设施与优先级、动作以及最佳实践等内容，为系统日志的高效管理提供指导。
【网络安全】 rsyslog日志
FSR857的博客
07-25 1101
wazuh日志、rsyslog日志学习
python syslog服务器_syslog协议及rsyslog服务全解析
weixin_39724362的博客
12-07 1319
背景：需求来自于一个客户想将服务器的日志转发到自己的日志服务器上，所以希望我们能提供这个转发的功能，同时还要满足syslog协议。一、什么是syslog协议1、介绍(略)2、syslog标准协议如下图这里的facility为模块，serverity为等级，由这两个信息共同计算出一个PRI头部。HEADER部分包含了时间和主机名。在HEADER和MSG之间有一个空格，MSG是需要记录的日志部分(日志...
【linux】rsyslog日志服务（配置，测试、日志转储）
qq_43331089的博客
09-09 9573
Rsyslog的全称是,可用于接受来自各种来源的输入，转换 它们，并将结果输出到不同的目的地。它提供了高性能、强大的安全功能和模块化设计。虽然rsyslog最初是一个常规的系 统日志，但它已经发展成为一种瑞士军刀式的日志记录，当应用有限处理时， RSYSLOG每秒可以向本地目的地发送超过一百万条消息。即使使用远程目的地和更 精细的处理，性能通常被认为是“惊人的”。rsyslog是一个开源工具，被广泛用于Linux系统以通过TCP/UDP协议转发或接收日 志消息。
关于rsyslog转发auditd日志配置过程及问题排查
喜欢悠闲的博客
08-05 2722
于是再次查找了日志信息 中（audispd: No plugins found, exiting）,询问gpt后，了解到audispd一个非常重要的组件，audispd是一个用于处理和转发audit事件的守护程序。在反复修改rsyslog.conf配置文件时，发现每次使用命令systemctl stop audit停止服务，服务端可以收到来自客户端的audit日志，但是用命令systemctl start audit开启服务后，则服务端停止接收audit日志。MODULES：定义消息来源的模块。
rsyslog日志服务简介
有小小的远大抱负
03-24 3461
1、简介 rsyslog是一个linux系统日志服务的工具，主要用来监控收集系统从开机运行之后所发生的所有日志，包括内核日志，服务日志，应用日志等等；记录的日志全部都写到/var/log下面，常用的有dmsg（内核日志）、messages（一般运行日志）、boot.log（系统启动日志）； 2、日志分类 ​（1） facility：设施、信道；（可理解为日志来源类型） ​ auth, authpriv, cron, daemon, kern, lpr, mail, mark, news, security,
异步log"丢失"之谜
认知 行动 坚持
03-06 2529
前段时间，需要修复线上数据，于是写了类似这样一个程序： func main(){ for i := 0; i < 10000000; i++ { // fix users' data log.Infof("fix details") totalInfo += "xxx" } log.Infof("total info is %s",...
linux如何做到不丢日志,rsyslogd日志丢失的解决
weixin_39906499的博客
05-04 485
最近发现跑keepalived的几台机器的日志总是打印不完，还好给抛了一个报错，信息如下：[root@yw_lvs2_backup etc]# tail -n 1000000 /var/log/messages-20130526 | grep "rate-limiting"May 20 11:43:55 yw_lvs2_backup rsyslogd-2177: imuxsock begins t...
Linux系统中日志服务rsyslog（未完）
SeanYBLL的博客
04-10 387
系统的日志管理 日志 /var/log/message 清空 rebort 清空后需要重起 日志服务 1.rsyslog 采集日志的程序 收集到指定位置 ，他不产生日志，只起到采集作用 采集规则（46行）vim /etc/rsyslog.conf 所有服务类型 . 什么类型的服务 . 日志的级别 2.rsyslog的管理 /var/log/messages 服务信息日志 /var/...
rsyslog日志服务之故障处理
Eric.zhong
04-22 1100
前几年给客户部署一套rsyslog日志服务，对厂区内的网络设备进行日志存储。不过在近期出现了一些问题，rsyslog日志服务会在关键时刻掉链子。比如网络异常时，只能找到一小部分日志，而绝大部分日志消失了。这一点也被他们偶然捕抓到交换机有大量刷日志，但是rsyslog始终没有日志更新。从REDHAT官方的反馈，它是一个正常现象…默认情况之下，rsyslog是有速率限制的。默认是每600秒20000条消息，超过将直接丢弃。
syslog 发送速度限制
pzysoft的博客
03-01 3894
rsyslog 5.7.1 版本之后默认有日志发送速度限制，如果在某一时间点发送大量日志，则超过限制的日志则会被全部丢弃。 所谓速度限制(Rate Limit)就是指，在某个固定的时间段内，syslog最多允许打印的log信息数量（多出的log信息将被丢弃）。它由配置文件/etc/rsyslog.conf中以下两个配置项决定： $SystemLogRateLimitInterval [Numb
rsyslog配置问题
07-15
### rsyslog 配置问题的排查与解决方案 在配置 `rsyslog` 时，可能会遇到多种问题，例如日志无法正确写入、服务启动失败、规则未生效等。以下是一些常见的排查方法和解决方案。 #### 1. **检查服务状态与日志** 确保 `rsyslog` 服务正在运行。可以使用以下命令查看服务状态： ```bash systemctl status rsyslog ``` 如果服务没有运行，尝试启动它并检查是否报错： ```bash systemctl start rsyslog ``` 同时，可以查看系统日志以获取更多线索。通常情况下，`rsyslog` 的日志会记录在 `/var/log/rsyslog.log` 或 `/var/log/messages` 中： ```bash tail -f /var/log/rsyslog.log ``` #### 2. **验证配置文件语法** `rsyslog` 的主配置文件通常位于 `/etc/rsyslog.conf`，而自定义配置可能存放在 `/etc/rsyslog.d/` 目录下。配置完成后，建议重新加载服务以应用更改： ```bash systemctl reload rsyslog ``` 如果服务无法重新加载，可能是配置文件存在语法错误。可以使用以下命令检查配置文件： ```bash rsyslogd -N1 ``` 该命令会输出详细的语法检查结果，帮助定位问题所在。 #### 3. **处理日志路径权限问题** 如果日志文件无法写入，可能是由于权限问题导致。确保目标日志目录（如 `/var/log/`）及其子目录具有正确的读写权限： ```bash chown root:adm /var/log/ chmod 755 /var/log/ ``` 此外，确认 `rsyslog` 进程是否有权限访问特定的日志文件或目录。可以使用 `ls -l` 检查文件权限，并根据需要进行调整。 #### 4. **测试日志转发功能** 如果配置了 `rsyslog` 将日志转发到远程服务器，但目标服务器未收到日志，可以按以下步骤排查： - 确保本地 `rsyslog` 配置中启用了转发规则，例如： ```bash *.* @@remote-server-ip:514 ``` - 检查防火墙设置，确保端口（如 514）开放。 - 在目标服务器上确认 `rsyslog` 是否正常运行，并且监听指定端口。 - 使用 `nc` 命令测试网络连通性： ```bash nc -zv remote-server-ip 514 ``` #### 5. **调试插件问题** 如果使用了第三方插件（如 `omkafka` 或 `imfile`），并且插件未能按预期工作，可以参考以下步骤： - 确认插件是否已正确安装，并在配置文件中启用。 - 查看插件文档，确保配置参数符合要求。 - 如果插件支持调试模式，可以在配置中启用调试日志[^1]。 - 如果插件依赖外部库（如 `librdkafka`），请确保所有依赖项都已安装。 #### 6. **处理日志格式问题** `rsyslog` 支持自定义日志模板，但如果模板配置不正确，可能导致日志格式混乱。可以通过以下方式定义模板： ```bash $template CustomFormat,"%timegenerated% %HOSTNAME% %syslogtag%%msg%\n" *.* /var/log/custom.log;CustomFormat ``` 确保模板名称拼写正确，并且在日志输出路径后引用了模板。修改后重新加载服务以使更改生效。 #### 7. **优化性能与稳定性** 当处理大量日志时，`rsyslog` 可能会出现性能瓶颈。可以考虑以下优化措施： - 启用队列机制以提高吞吐量，例如： ```bash $WorkDirectory /var/spool/rsyslog $ActionQueueFileName queue $ActionQueueMaxDiskSpace 1g $ActionQueueType LinkedList $ActionResumeRetryCount -1 ``` - 调整线程数以适应高负载场景： ```bash $MaxMessageSize 64k $MainMsgQueueWorkerThreads 4 ``` - 关闭不必要的日志规则，减少资源消耗。 #### 8. **结合 systemd-journald 日志** 如果希望将 `systemd-journald` 的日志也通过 `rsyslog` 处理，可以启用 `imjournal` 模块，并在配置文件中添加相应规则： ```bash module(load="imjournal") *.* /var/log/journal.log ``` 这样可以将 `journald` 的结构化日志输出为文本文件，便于进一步分析[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值