2021-01-05利用Linux自带的logrotate管理日志

linux logrotate 配置说明 文章目录logrotate参数配置logrotate配置方式dateformat 配置示例示列1示列2运行logrotatecrontab 定时debug 模式:verbose 模式 logrotate参数 参数 说明 dailyweeklymonthlyyearly 切割周期,多久切割一次。daily : 切割周期为 每天weekly : 切割周期为 每周monthly : 切割周期为 每月yearly: 切割周期为 每年 size size 阅读详情

利用Linux自带的logrotate管理日志

日常运维中,经常要对各类日志进行管理,清理,监控,尤其是因为应用bug,在1小时内就能写几十个G日志,导致磁盘爆满,系统挂掉。

nohup.out,access.log,catalina.out

本文简单介绍利用Linux自带的logrotate来对操作系统中各类日志进行管理。

1、logrotate简介

The logrotate utility is designed to simplify the administration of log files on a system which generates a lot of log files. Logrotate allows for the automatic rotation compression, removal and mailing of log files. Logrotate can be set to handle a log file daily, weekly, monthly or when the log file gets to a certain size.

为了使用它,主要有两个地方需要修改一下:一个是/etc/logrotate.conf,另一个是/etc/logrotate.d/下面的文件。

你既可以在logrotate.conf中直接定义如何处理你的log文件,也可以在/logrotate.d/下面针对自己的log新建一个对应的文件来定义处理log的行为,推荐在目录 /logrotate.d/ 下面创建自己的文件来对个性化的日志进行处理。

logrotate定义了如何处理日志,而它本身则是被crond定时调用的。

我使用的一个生产实例:

复制代码

/usr/local/nginx/logs/*.log {
    create 0644 root root
    daily
    rotate 2
    missingok
    copytruncate
    ifempty
    compress
    noolddir
}

复制代码

上述内容保存到nginxlog文件,存放到目录:/etc/logrotate.d/nginxlog
设置权限:owner=root group=root mode=0644

测试配置是否正确:

lograte -d /etc/logrotate.d/nginxlog

2、logrotate配置参数

logrotate 全局配置文件: /etc/logrotate.conf

配置参数功能说明
compress通过gzip 压缩转储以后的日志
nocompress不需要压缩时,用这个参数
copytruncate用于还在打开中的日志文件,把当前日志备份并截断;是先拷贝再清空的方式,拷贝和清空之间有一个时间差,可能会丢失部分日志数据。
nocopytruncate备份日志文件但是不截断
create mode owner group 转储文件,使用指定的文件模式创建新的日志文件。轮转时指定创建新文件的属性,如create 0777 nobody nobody
nocreate不建立新的日志文件
delaycompress和 compress 一起使用时,转储的日志文件到下一次转储时才压缩
nodelaycompress覆盖 delaycompress 选项,转储同时压缩
errors address 专储时的错误信息发送到指定的Email 地址
ifempty即使是空文件也转储,这个是 logrotate 的缺省选项。
notifempty如果是空文件的话,不转储
mail address 把转储的日志文件发送到指定的E-mail 地址
nomail转储时不发送日志文件
olddir directory转储后的日志文件放入指定的目录,必须和当前日志文件在同一个文件系统
noolddir转储后的日志文件和当前日志文件放在同一个目录下

prerotate/endscript

在logrotate转储之前需要执行的指令,例如修改文件的属性等动作;这两个关键字必须单独成行;
postrotate/endscript在logrotate转储之后需要执行的指令,例如重新启动 (kill -HUP) 某个服务!必须独立成行;
daily指定转储周期为每天
weekly指定转储周期为每周
monthly指定转储周期为每月
rotate count指定日志文件删除之前转储的个数,0 指没有备份,5 指保留5个备份
tabootext [+] list 让logrotate 不转储指定扩展名的文件,缺省的扩展名是:.rpm-orig, .rpmsave, v, 和 ~ 
sizesize当日志文件到达指定的大小时才转储,Size 可以指定 bytes (缺省)以及KB (sizek)或者MB (sizem).
missingok如果日志丢失,不报错继续滚动下一个日志
notifempty当日志文件为空时,不进行轮转
sharedscripts运行postrotate脚本,作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个,那么每个日志轮转后都会执行一次脚本
dateext使用当期日期作为命名格式
dateformat .%s 配合dateext使用,紧跟在下一行出现,定义文件切割后的文件名,必须配合dateext使用,只支持 %Y %m %d %s 这四个参数
size(或minsize) log-size当日志文件到达指定的大小时才转储,log-size能指定bytes(缺省)及KB (sizek)或MB(sizem).

说明:

当日志文件 >= log-size 的时候就转储。
以下为合法格式:(其他格式的单位大小写没有试过)
size = 5 或 size 5 (>= 5 个字节就转储)
size = 100k 或 size 100k
size = 100M 或 size 100M

实例:

复制代码

/home/deploy/apps/production.log {
missingok
copytruncate
rotate 10
notifempty
sharedscripts
dateext
dateformat -%Y-%m-%d-%s
size=10M
postrotate
mv /home/deploy/apps/production.log-* /data1/log/rails
gzip /data1/log/rails/production.log-*
endscript
}

复制代码

问题:rotate和maxage的区别是什么?
它们都是用来控制保存多少日志文件的,区别在于 rotate 是以个数为单位的,而 maxage 是以天数为单位的。如果我们是以按天来轮转日志,那么二者的差别就不大了。

4、nginx日志切割实例

复制代码

vim /etc/logrotate.d/nginx   #创建nginx日志切割配置文件

/application/nginx/logs/*.log{
daily
rotate 10
create
dateext
}

logrotate -d /etc/logrotate.d/nginx    调试测试   -d debug
logrotate -d /etc/logrotate.d/nginx    手动切割日志测试

ls /application/nginx/logs/           带日期的表示是切割好的日志
access.log           bbs.log-20180228   error.log           www.log
access.log-20180228  blog.log           error.log-20180228  www.log-20180228
bbs.log              blog.log-20180228  nginx.pid

复制代码

配置好nginx切割日志生效时间

复制代码

# cat /etc/anacrontab    #此文件里有生效时间
# /etc/anacrontab: configuration file for anacron

# See anacron(8) and anacrontab(5) for details.
 
SHELL=/bin/sh
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root

# the maximal random delay added to the base delay of the jobs
RANDOM_DELAY=45

# the jobs will be started during the following hours only
START_HOURS_RANGE=3-22   #生效时间范围是3点到22点

#period in days   delay in minutes   job-identifier   command
1       5       cron.daily              nice run-parts /etc/cron.daily
7       25      cron.weekly             nice run-parts /etc/cron.weekly
@monthly 45     cron.monthly            nice run-parts /etc/cron.monthly

复制代码

也就是说,配好的nginx切割日志,生效时间是在凌晨3点到22点之间,而且随机延迟时间是45分钟

5、其他配置示例

复制代码

/var/log/htmlaccess.log {
 errors jim
 notifempty
 nocompress
 weekly
 prerotate
 /usr/bin/chattr -a /var/log/htmlaccess.log
 endscript
 
 postrotate
 /usr/bin/chattr +a /var/log/htmlaccess.log
 endscript
}

复制代码

持续集成系统日志处理配置

复制代码

/var/log/jenkins/jenkins.log /var/log/jenkins/access_log {
    compress
    dateext
    maxage 365      #保留最大365天
    rotate 99       #最大保留99个备份
    size=+4096k
    notifempty
    missingok
    create 644
    copytruncate
}

复制代码

 自定义日志处理

复制代码

/medialog/*.log {
    create 0644 root root
    daily
    rotate 30
    missingok
    copytruncate
    notifempty
    compress
    delaycompress
    olddir /medialog/backlog    # 将归档日志单独目录存储
}

复制代码

【Linux 从基础到进阶】日志管理与分析 系统日志记录了操作系统及其组件、应用程序的运行状态以及错误信息。这些日志对于追踪系统事件、诊断问题和执行安全审计至关重要。日志管理与分析是 Linux 系统运维的核心组成部分。通过有效的日志管理,运维人员可以及时发现系统潜在的问题,确保系统的安全性和稳定性。本文详细介绍了在 CentOS 和 Ubuntu 系统下的日志管理工具与方法,提供了适用于不同需求的解决方案。如有疑问或需进一步了解,请查阅官方文档或在 优快云 博客中获取更多资源。 阅读详情

相关推荐

Ubuntu 20.04 logrotate 配置实战:解决日志疯长与磁盘占满问题

logrotate 是 Linux 系统中用于日志轮转的核心工具,其原理是通过定时任务(如 cron)触发文件重命名、创建新日志、通知服务重载等原子操作,避免直接删除导致的‘幽灵文件’和磁盘空间无法释放问题。该机制在 Ubuntu 20.04 中默认启用但配置保守,不自动覆盖自定义服务日志,易引发磁盘写满、服务异常等生产事故。掌握 logrotate 的配置加载顺序(/etc/logrotate.conf + /etc/logrotate.d/)、关键指令(daily/rotate/compress/del

weixin_30617737的博客 360

利用Linux自带的logrotate管理日志

文章目录利用Linux自带的logrotate管理日志1. logrotate简介2. logrotate配置参数3. nginx日志切割实例4. 其他配置示例 利用Linux自带的logrotate管理日志 日常运维中,经常要对各类日志进行管理,清理,监控,尤其是因为应用bug,在1小时内就能写几十个G日志,导致磁盘爆满,系统挂掉。 nohup.out,access.log,catalina.out 本文简单介绍利用Linux自带的logrotate来对操作系统中各类日志进行管理。 1. logrotat

it-wangxiaobai的博客 3122

Linux日志体系深度解析:rsyslog与systemd-journald双轨机制

Linux日志是系统运行的实时生命体征,而非静态文本档案。其核心在于日志采集与存储的架构范式——从传统文本流(rsyslog)到结构化二进制索引(systemd-journald)。这种演进带来查询性能跃升(如journalctl比grep快数十倍)、元数据丰富性及安全可控性,支撑着容器(kubectl logs)、Web服务(nginx error log)和AI平台(openclaw logs)等现代应用的日志可观测需求。在Ubuntu/Debian中rsyslog与journald协同工作,在Cent

weixin_33691700的博客 382

SUSE下修改/var/log/messages的权限、用户与组

一开始是用chown / chmod进行修改的,但是一天后就恢复原来 的样子发现是logrotate这个程序每天对日志进行转储的时候会修改掉,查看配置文件/var/log/messages{ compress dateext maxage365 rotate99 missingok notifempty size...

weixin_33737774的博客 2677

Linux日志审计与故障追踪:从日志收集到根因定位的工程实践

日志是系统运行状态的忠实记录,其核心价值在于将海量、分散的时序信息转化为可检索、可关联的线索链。其基本原理是通过统一的收集、解析和索引,将非结构化的文本数据转化为结构化的字段,从而支持高效的查询与分析。在技术实现上,这通常涉及日志收集器(如Fluent Bit)、中心化存储(如Elasticsearch或Loki)以及查询分析界面。这套技术体系对于保障系统稳定性、快速故障恢复以及满足安全合规要求至关重要,尤其适用于微服务、容器化等复杂分布式环境下的问题诊断。本文聚焦于Linux环境,详细阐述了如何构建一个从

weixin_30268071的博客 845

【AUTOSAR-COM】Transmission Mode 和 Transfer Property

1.COM模块的基本概念 首先在描述Transmission Mode 和 Transfer Property之前,有必要对COM模块的基本处理有一个直观的理解,我所描述的和对概念理解的也不一定完全正确。 Signal:指的是通信协议中的,一条报文中所保存的若干信号。 I-PDU:至少在COM模块中,可以理解为一条报文。 上图是在CANdb软件中编辑一个报文的Layout的界面,可以很形象的将I-PDU对等为这里的一条Message,而Signal就是需要在Message中需要摆放的Signal

tim_hoven的博客 4638

Linux logrotate教程以及如何使用logrotate分割nginx访问日志

Logrotate 是一个用于管理 Linux 系统日志文件的工具。

yh4494的博客 1215

盲盒小程序开发实战:概率算法、系统架构与合规风控全解析

抽奖类业务的核心是随机性与概率模型的工程化落地。从单品权重抽奖到动态保底机制,算法设计需要兼顾商业回报与用户体验;基于加密随机数服务端下发结果,可有效防止前端篡改与逆向分析。在系统层面,原子化库存扣减、幂等控制和审计日志构建了稳定可靠的抽奖服务,保障高并发下不超卖、不重复。盲盒小程序作为典型应用场景,还需深度融合微信支付v3对接与平台审核规范,尤其重视概率公示、未成年人保护和支付风控等合规红线。只有将算法、架构与合规三位一体,才能让产品顺利过审并长期运营。

weixin_31185473的博客 306

Apache自带日志切割工具Logrotate和maxage

作者清水大王(/u/4yjkua) 关注2016.02.20 16:50* 字数1086 阅读155 评论0 喜欢0星期五的早上,公司应用服务提示不可访问。最后发现是硬盘内存不够。某应用写日志太频繁,导致内存撑爆了。于是决定做日志切割,备份。在决定做日志切割和备份时,本来自己想写个shell 脚本。脚本需要执行1. copy 原来的日志文件。2. 给文件名添加日期等特殊的标...

weixin_34353714的博客 669

超详细!动态规划详解分析(典型例题分析和对比,附源码)

为啥要使用动态规划?什么时候使用动态规划?以下是我的一些理解和心得,如果你感兴趣,就接着往下看吧。 对您有帮助的话记得给我点个赞哟! 动态规划的基本思想 动态规划(Dynamic Programming,DP)算法通常用于求解某种具有最优性质的问题。在这类问题中,可能会有许多可行解,每一个解都对应一个值,我们希望找到具有最优值的解。 动态规划算法与分治法类似,其基本思想也是将待求解的问题分解成若干个子问题,先求解子问题,然后从这些子问题的解中 得到原有问题的解。与分治法不同的是,动态规划经分解后得到的子问题

qq_44398094的博客 8万+

基于YOLOv8/YOLOv7/YOLOv6/YOLOv5的商品识别系统(深度学习+UI界面+训练数据集+Python代码)

随着新零售和智能仓储的快速发展,商品识别技术成为计算机视觉领域的重要研究方向。本文详细介绍了基于YOLO系列算法的商品识别系统的完整实现方案,涵盖算法原理、数据集构建、模型训练、系统集成和可视化界面开发。通过对比YOLOv5到YOLOv8各版本性能差异,我们构建了一个高效、准确且用户友好的商品识别系统,并提供完整的代码实现。

YOLO 288

Linux日志管理

目录在这里嗷~,如有问题请私信我进行修改~

weixin_40866833的博客 76

EMC基础知识总结

电磁干扰(Electromagnetic Interference),简称EMI,有和两种。传导干扰主要是电子设备产生的干扰信号通过导电介质或公共电源线互相产生干扰;辐射干扰是指电子设备产生的干扰信号通过空间耦合把干扰信号传给另一个电网络或电子设备。

学海无涯的专栏 1373

Jtti:如何在Linux服务器上查看系统日志?

配置文件位于/etc/logrotate.conf和/etc/logrotate.d/目录。/var/log/apache2/ 或 /var/log/httpd/:记录Apache Web服务器的日志。/var/log/syslog 或 /var/log/messages:记录系统范围内的日志消息。/var/log/auth.log:记录所有认证相关的事件(例如,登录尝试)。/var/log/boot.log:记录系统启动过程中发生的事件。/var/log/mysql/:记录MySQL数据库服务器的日志。

JttiSEO的博客 617

大数据工程中的数据血缘分析工具比较

数据血缘(Data Lineage)是大数据治理中的核心组成部分,它描述了数据从源头到目标的完整流动路径。系统介绍数据血缘的核心概念和技术原理比较主流开源和商业数据血缘工具的功能特点提供数据血缘分析的实践指南和选型建议本文首先介绍数据血缘的基本概念,然后深入分析其技术原理和实现方法,接着比较主流工具的特点,最后通过实际案例展示应用场景。数据血缘(Data Lineage): 描述数据从源头到目标的完整流动路径,包括所有转换和处理步骤元数据(Metadata)

大数据洞察的博客 900

Xilinx差分原语-IBUFGDS与OBUFGDS FPGA

它将差分信号转换为单端信号,并将其输入到FPGA的逻辑片上。它将单端信号转换为差分信号,并将其输出到FPGA的引脚。在FPGA设计中,差分信号是一种常见的信号传输方式,用于提高抗噪性和抑制共模噪声。Xilinx是一家知名的FPGA供应商,提供了许多差分原语,其中包括IBUFGDS和OBUFGDS。通过使用Xilinx的差分原语,如IBUFGDS和OBUFGDS,可以实现差分信号的输入和输出。这些差分原语提供了方便且可靠的接口,使得在FPGA设计中处理差分信号变得更加简单和高效。是差分输入信号的端口,

git_database727的博客 2096

Linux日志分析:从基础到实战的运维指南

日志分析是系统运维中的关键技术,通过收集和分析系统日志,可以快速定位和解决各种问题。在Linux环境中,rsyslog作为核心日志收集框架,实现了从输入、过滤到输出的完整流程。结合logrotate工具,可以高效管理日志文件的存储和轮转。对于大规模日志处理,Elasticsearch等分布式存储方案提供了强大的支持。通过命令行工具如grep、awk等,可以进行高效的日志分析和模式识别。在实际应用中,日志分析不仅用于故障排查,还能用于性能优化和安全审计,是保障系统稳定运行的重要手段。

weixin_30664615的博客 354

Windows 11 WSL2环境下OpenClaw部署的兼容性问题分析与解决方案研究

本文研究了OpenClaw在Windows 11 WSL2环境下的部署方案。WSL2通过无缝集成Linux与Windows系统,为OpenClaw提供了良好的运行环境,支持GPU加速和跨平台开发。文章详细分析了硬件配置要求(推荐8核CPU/16GB内存/NVMe SSD)、系统选择(Windows 11 Pro+Ubuntu 22.04)以及部署步骤,包括WSL2启用、Linux发行版安装、Python/Node.js/Redis等依赖配置。通过优化.wslconfig文件参数(如内存分

博客 2284

Linux日志体系全解析:Ubuntu/Debian/CentOS日志架构与实战排查

Linux日志是操作系统运行状态的核心反馈机制,其本质是一套分层采集、结构化存储、分级过滤的可观测性基础设施。基于systemd-journald、rsyslog和logrotate构成的日志流水线,在Ubuntu、Debian和CentOS三大发行版中呈现显著差异:journald默认持久化策略、rsyslog输入模块选型(imjournal vs imuxsock)、关键路径映射(如auth.log vs secure)及日志级别语义(priority=3对应err级故障信号)共同决定了排查效率。掌握这

weixin_33851429的博客 334

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

mongodb集群linux日志分割,MongoDB运行日志实现自动分割的方法实例

前言其实所谓自动分割MongoDB日志文件,就是指Rotate MongoDB log files,即让MongoDB每天(或每个星期,可自定义控制)生成一个日志文件,而不是将MongoDB所有的运行日志都放置在一个文件中,这样每个日志文件都相对较小,定位问题也更容易。实现自动分割MongoDB日志的方法可以参考:https://docs.mongodb.com/manual/tutorial/r...

weixin_29408705的博客 260

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Linux笔记

学习linux的笔记总结

panzhengxiang的博客 1047

Linux系统日志分析实战从入门到精通的关键技巧

系统关键日志文件集中在/var/log目录下。其中,/var/log/messages记录大多数系统级消息,/var/log/syslog包含更全面的系统活动记录,/var/log/auth.log专门用于身份验证相关事件,/var/log/kern.log则记录内核产生的信息。对于Web服务器,/var/log/apache2/或/var/log/nginx/目录下的访问日志和错误日志至关重要。对于需要长期审计的日志,应考虑建立归档机制,将历史日志迁移到成本更低的存储介质,同时确保其完整性和可检索性。

qq_32860299的博客 570

mysql知识点,锁表运维,日志等

mysql 运维语句,死锁锁表

nalanxiaoxiao2011的博客 157

深入理解Ubuntu系统日志管理(第一篇:概述)

Ubuntu的日志管理体系是rsyslog。

jongden的专栏 1196

Linux学习-rsyslog

日志 记录系统活动信息的文件,记录系统在什么时候由哪个进程做了什么样的操作。 Linux常用日志 #开机启动的时候系统内核会去检测与启动硬件,接下来启动各种内核支持的功能,这些信息会记录在以下文件,只记录本次开机启动的信息 [root@base ~]# tail /var/log/boot.log #查看文件日志动态显示追加信息 [root@base ~]# tail -f /var/log/messages #安全日志 [root@base ~]# tail /var/log/secure #yum日志

丢爸 1996

linux 计划任务

有的工作则是临时发生的,例如刚好有亲友到访,需要你在一个特定的时间去车站迎接!at在运行的时候会将定义好的工作以文本文件的方式写入 /var/spool/at/ 目录内,该工作便能等待 atd 这个服务的调用,但是出于安全考虑,并不是所有的人都可以使用 at 计划任务!crontab -e是针对用户 来设计的,系统的计划任务是通过/etc/crontab文件来实现的,我们只要编辑/etc/crontab 这个文件就可以,由于cron的最低检测时间是分钟,所以编辑好这个文件,系统就会自动定期执行了。

cnhunke的博客 723
上一篇: php使用携程Apollo配置中心
下一篇: 微信h5公众号授权登录获取用户信息
php_elephant
博客等级 码龄9年 12粉丝 9原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值