shell关于sed，awk日志分割

最新推荐文章于 2024-09-16 21:21:46 发布
原创 最新推荐文章于 2024-09-16 21:21:46 发布 · 1.9k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种从特定格式的日志文件中提取并处理数据的方法。通过使用sed、awk和cut等命令，可以有效地筛选和格式化时间戳数据，适用于系统监控和日志分析等场景。

首先是一段日志内容：

[09/Aug/2017:12:00:05 +0800]

[09/Aug/2017:12:00:08 +0800]
[09/Aug/2017:12:00:12 +0800]
[09/Aug/2017:12:00:15 +0800]
[09/Aug/2017:12:00:19 +0800]
[09/Aug/2017:12:00:57 +0800]
[09/Aug/2017:12:01:05 +0800]
[09/Aug/2017:12:01:07 +0800]
[09/Aug/2017:12:01:08 +0800]
[09/Aug/2017:12:01:09 +0800]
[09/Aug/2017:12:01:13 +0800]
[09/Aug/2017:12:02:58 +0800]
[09/Aug/2017:12:03:00 +0800]
[09/Aug/2017:12:03:04 +0800]
[09/Aug/2017:12:03:09 +0800]
[09/Aug/2017:12:03:12 +0800]
[09/Aug/2017:12:03:16 +0800]
[09/Aug/2017:12:03:19 +0800]
[09/Aug/2017:12:07:35 +0800]
[09/Aug/2017:12:07:36 +0800]
[09/Aug/2017:12:07:36 +0800]


取中间一段内容：

sed '/12:00:05/,/12:03:19/p' test -n

以一定规则分割：

awk '{print $1}' test |sed  's#\[##g'| awk -F ':' -vOFS=':' '{print $1,$2,$3}' |sed '/[0-2]$/p' -n

还可以cut -d' ' -f 

shell三剑客（sed+awk）
爱敲代码的三毛的博客
08-25 2566
1、正则表达式必须以”/“前后规范间隔例如：sed '/root/d' file例如：sed '/^root/d' file2、如果匹配的是扩展正则表达式，需要使用-r选来扩展sedgrep -Esed -r+?注意：在正则表达式中如果出现特殊字符(^$.*/[]),需要以前导 "\" 号做转义3、逗号分隔符例如：sed '5,7d' file 删除5到7行例如：sed '/root/,/ftp/d' file。
监控日志文件shell脚本，截取某段时间
m0_62999992的博客
09-19 1261
监控日志文件shell脚本，截取某段时间
awk日志分割
weixin_30500289的博客
05-23 448
awk日志分割 1. awk实现日志按照日期分割 #!/bin/bash DATE=$(date -d yesterday +%Y-%m-%d) awk 'BEGIN{RS="'$DATE'"} /'ERROR'|'OutOfMemory'/ { print RS, $0}' pay-front.log.$DATE >> pay-front.error.log.$DATE ...
linux 日志拆分 awk,awk截取日志
weixin_39812465的博客
05-05 439
好久没有截取Nginx/haproxy 中 的日志了，竟有点不熟悉了。记录一下，以免以后忘记。Nginx 日志格式： 192.168.1.26 - - [14/Sep/2017:16:48:42 +0800] "GET /ui/favicons/favicon-16x16.png HTTP/1.1" 304 0"http://192.168.1.124/app/kibana" "Mozilla/5...
awk切割日志笔记
小波的专栏（u012893325）
09-20 1744
//nginx 日志格式 1x.2.1xx.1xx - - [20/Sep/2017:00:00:01 +0800] xxxx-xxxx-xxxx-xxxx "GET /xxxx/xxxx/getFields?param=xxxxxxxxxxxxxx HTTP/1.1" 200 212 0.007 "-" "Apache-HttpClient/4.3.1 (java 1.5)” “xx.xxx.
linux 四剑客 find grep awk sed 日志切分
weixin_44562661的博客
01-18 385
一. find 格式 find /tmp -name “.log" -exec 命令名 - {} ; find /tmp -name ".log” | xargs rm -rf [有局限性 只支持r m] 参数; -size k M G 文件大小 -type d f b s c 文件类型 -maxdepth 1 查找深度   -atmie &a
linux shell脚本切割日志文件的方法
dataddd的博客
06-14 696
要求：一直监控时间，每天的24点将pwd获取当前路径下的log.log文件改名成当天日期文件，并创建新的log.log，并删除前7天的文件 #!/bin/bash # 获取当前工作目录 current_directory=$(pwd) # 主循环，持续监控时间 while true; do # 获取当前日期的小时和分钟 current_hour=$(date +"%H") current_minute=$(date +"%M") # 检查是否到达午夜（00:
实战Shell脚本—sed,awk使用
03-17
`sed`（流编辑器）和`awk`（一种编程语言）都是数据分析和文本转换的强大工具，尤其在处理日志文件、数据过滤和格式化方面表现出色。 `sed` 是“流编辑器”（Stream Editor）的缩写，它可以读取输入流（一个文件或...
shell编程-awk，sed，crontab
04-09
awk和sed常用于数据处理和文本转换，如日志分析、报告生成等。crontab则用于自动化日常维护任务，如备份、清理、监控等。通过熟练掌握这些工具，可以极大地提高工作效率和系统的自动化水平。在压缩包中的“awk详解....
Linux管理员的秘密武器：Shell、sed与awk实战
"AdvancedBash-ScriptingGuide是一个深入探索Shell脚本艺术的指南，由Mendel Cooper编写，包括了shell、sed和awk的使用，适合没有编程背景的初学者逐步进阶到中级或高级水平。书中通过小知识点和丰富的示例提供了...
sed awk高级编程案例
08-09
首先，关于如何从/etc/passwd文件中提取用户目录的问题，可以使用sed和awk两种工具。在使用sed时，可以通过正则表达式匹配并删除不需要的字段来实现，如通过's/^[^\/]*//;s/\:.*//'命令删除每行开头的非斜杠字符和...
日志分割带有完整的说明，对linux上面产生的日志进行分割
04-04
日志分割带有完整的说明，对linux上面产生的日志进行分割日志分割带有完整的说明，对linux上面产生的日志进行分割
shell脚本：使用awk对日志切割
zhutengfei1的博客
06-20 298
awk '/Failed p/{ip[$11]++}END{ for( i in ip){print i,ip[i]}}' /var/log/secure |sort -nr -k 2
Linux 【awk 命令】文本切割工具
qq_43606536的博客
08-02 2317
awk ：“Aho Weiberger and Kernighan”三个作者的姓的第一个字母 ：是一种处理文本文件的语言，是一个强大的文本分析工具。awk是逐行处理，当awk处理一个文本时，会一行一行进行处理，处理完当前行，再处理下一行，awk默认以"换行符"为标记，识别每一行，，awk会按照用户指定的分割符去分割当前行，如果没有指定分割符，默认使用空格作为分隔符。
使用awk分割日志将数据存入infobright列式数据库中
gu2664148379的博客
05-07 177
#!/bin/bash COMMON=$(date -d "yesterday" "+%Y_%m_%d")"common.log" CLI=$(date -d "yesterday" "+%Y_%m_%d")"cli.log" LOG_PATH="/home/admin/resource/logs/" awk -F '|' '{if ($3 != "-"){print $3 "," $11 "," $12 "," $13 "," $9 "," $10 "," $7 "," $8 "," $5 "," $4.
Linux进阶命令-sed&split
最新发布
09-16 1677
sed（Stream Editor）是一个流编辑器，用于在文本流中进行文本替换和转换操作。它通常用于命令行环境下，可以接受标准输入（stdin）、文件内容或管道输入，并对文本进行修改或处理。
sed命令详解
Xiayebuliang的博客
11-25 2260
使用split命令进行文件分割（例如文件如果是百万行，就创建一个单独的目录将文件分割为一百个一万行的文本）在使用sed命令进行处理。注意：默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生变化，除非使用 ‘sed -i ’ 修改源文件、或使用重定向输出道新的文件中。p：打印，如果同时指定行，表示打印指定行，如果不指定行，则表示打印所有内容；-e 或--expression=：表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令使用。
linux中sed关键字分割,Linux sed根据关键字所在行，然后删除其它关键字
weixin_39665847的博客
05-28 370
源码：smoketest:/tmp # cat 321.logcreate table "omuuser"."t_omu_spec_nic"("ID" NUMBER(19,0) not null,"NETWORKNAME" VARCHAR2(50 CHAR),"SPECNAME" VARCHAR2(255 CHAR) not null,primary key ("ID"));alter table...
Linux 截取日志
是个吃不饱的人
04-15 1064
Linux 关于日志的截取
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值