Linux日志文件切割的6种方法

1. logrotate命令

logrotate是linux系统自带的日志文件管理工具,通过配置文件和定时任务配合来实现系统日志文件的管理，如日志周期滚动切割、删除旧日志及生成新日志等。

logrotate的配置文件在/etc/logrotate.conf和/etc/logrotate.d/目录下，配置文件中我们可以设置日志滚动周期、后缀名、转储目录等。logrotate命令格式：

logrotate [-?dfv][-s <状态文件>][--usage][配置文件]

选项：

-d,--debug 　详细显示指令执行过程，便于排错或了解程序执行的情况。

-f,--force 　根据设置强制执行日志切割操作

-m,--mail=command 压缩日志后,发送日志到指定邮箱

-s<状态文件>或--state=<状态文件> 　使用指定的状态文件。

-v 或--version 　显示指令执行过程。

-usage 　显示指令基本用法。

-?或--help 　命令帮助

logrotate由系统定时执行日志文件的切割，但也可以手工强制执行，设置好配置文件后通过执行命令：

logrotate -f configfile

logrotate详细使用可参考：logrotate - Linux命令手册

2. split命令

split命令用于将一个大文件分割成很多个小文件，可以按行数、或文件大小分割。命令格式：

split [-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文件][输出文件名]

示例：将log.log文件切割，每个文件10m，新文件名以log+顺序数字组合 

split -d -b 10M log.log log

3.python脚本实现 

利用filesplit包可以轻松实现文件拆分，先安装依赖包pip install filesplit, 代码如下：

from filesplit.split import Split

fp=Split(inputfile="D:\\datacenter\\prod_dict.txt",outputdir="D:\\datacenter")
# 按行拆分
# fp.bylinecount(500)
# 按大小拆分
fp.bysize(size=15*1024,newline=True)

 可以看到，以上代码非常简单就实现的文件拆分，有兴趣的可以在此基础上加入命令行参数解析封装一个python版本的split命令

4. sed命令

sed命令本身不具备拆分文件的功能，但我们可以通过重定向将内容输出

sed -n '1,10p' file.txt > file1.txt
sed -i '1,10d' file.txt

第一个命令是将提取1-10行内容输出到file1.txt中，第二个命令是将原文件的1-10行删除。可以看出sed切割文件并不是很多方便，且只对文本文件适合

5. awk命令

awk '{if (NR<1000) print $0}' 文件名称 > 新文件名称

awk '{if (NR>=1000) print $0}' 文件名称 > 新文件名称 

6. dd命令

dd bs=1M count=50 if=文件名称 of=新文件名称

bs代表数据块的大小，count表示复制的块数，if表示输入文件，of表示输出文件