sed、awk截取日志

使用awk与sed截取日志
最新推荐文章于 2025-10-22 10:53:30 发布
原创 最新推荐文章于 2025-10-22 10:53:30 发布 · 2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何利用awk和sed命令从日志文件中截取特定字符串之间的内容，详细解析了awk与sed的复杂用法，包括条件判断、行匹配、模式搜索等，适用于系统管理员和开发人员进行日志分析。

awk ‘/字符串1/{a=1}a{b=b?b"\n"$0:$0;if(b~/字符串2/){print b;b=""}}’ file
sed -n ‘/字符串1/{p;:1;n;:2;/字符串2/{p;b1};N;b2}’ file
awk ‘/字符串1/{a=1}a{b=b?b"\n"$0:$0;if(b~/字符串2/){print b;b=""}}’ file
sed -n ‘/字符串1/{p;h;b};:m;x;/lzj/{x;N;/字符串2/!{bm;};p;b};x’ file

截取两个字符串之间日志

n 匹配行的下一行
N 追加到下一行

p 打印
P 打印到\n

b 无条件跳转 未匹配后面不执行
t 有条件跳转 未匹配执行后面

：fun1
在匹配B时，b func1 类似goto 跳转到 前面A匹配中

N 判断后拼接不匹配
n 判断后过滤不匹配
[root@docker tmp]# sed '/A/{p;:fun1 ; n ; :fun2 /B/{p;b fun1} ;n; b fun2} ’ file1 -n
AA
BC
CB
[root@docker tmp]#sed '/A/{p;:fun1 ; n ; :fun2 /B/{p;b fun1} ;N; b fun2} ’ file1 -n
AA
BC
AA
CB
[root@docker tmp]# cat file1
CC
AA
BC
AA
CB
CC

万字长文搞懂Linux 字符截取命令：cut、awk、sed
吻等离子的博客
04-16 1112
Linux 系统中，日志文件、配置文件和命令输出通常包含大量文本数据。提取特定字段或列（如从日志中提取时间戳）。转换文本格式（如替换、分隔）。过滤和整理数据（如按条件筛选行）。cut是一个简单高效的工具，用于从文本行中提取特定部分。它支持按字符、字节或字段（以分隔符分割）进行截取，常用于处理结构化的文本数据（如 CSV 文件或命令输出）。awk是一个功能强大的文本处理工具，支持模式匹配、字段处理、计算和编程逻辑。
shell三剑客（sed+awk）
爱敲代码的三毛的博客
08-25 2566
1、正则表达式必须以”/“前后规范间隔例如：sed '/root/d' file例如：sed '/^root/d' file2、如果匹配的是扩展正则表达式，需要使用-r选来扩展sedgrep -Esed -r+?注意：在正则表达式中如果出现特殊字符(^$.*/[]),需要以前导 "\" 号做转义3、逗号分隔符例如：sed '5,7d' file 删除5到7行例如：sed '/root/,/ftp/d' file。
Linux Sed与日志截取
程序员青菜学厨记
08-20 693
sed是流编辑器，一次处理一行数据，它先把当前一行数据存储在临时缓存区，然后用sed命令处理缓存区内容，处理完成后把缓存区内容输出到屏幕，接着再处理下一行，一直到文件末尾，与awk处理方式是一样的，并且原文件不会被改动。grep、sed、awk号称Linux文本处理三剑客，grep用于文本过滤，sed适合行处理，awk适合列处理，awk以前有两篇文章介绍过，今天介绍一下sed的使用。当需要排查以前某一个时间段的日志，日志文件比较大没有办法直接用vi打开，这时可以用sed将当时的日志截取出来进行分析。
linux用grep、awk分析nginx的access.log的日志，根据时间段截取日志、统计某接口/关键字访问成功数量及平均响应时间。
勇往直泉的博客
03-18 9069
衍生文章链接：https://blog.youkuaiyun.com/enjoyphp/article/details/100024220 项目中亲测，命令全部有效 日志截取，从总日志文件中截取昨天已整天的数据出来，并覆盖到新文件中： cat access.log | awk '$4 >="[14/Mar/2019:00:00:00" && $4 <="[14/Ma...
Linux三剑客：grep、sed、awk高效文本处理
最新发布
m0_75050314的博客
10-22 683
grep：专注 “搜索”，快速定位包含特定模式的行。sed：专注 “修改”，批量替换、删除、插入文本。awk：专注 “分析”，按列处理数据，支持复杂逻辑和统计。三者分工明确，结合使用可覆盖绝大多数文本处理需求，是 Linux 运维、开发必备工具。
通过sed截取一行匹配内容
05-21
sed匹配成功后，打印所在行的内容是比较简单。但是要输出某行匹配内容，而不是整行内容。
awk 截取某段时间的日志
weixin_33748818的博客
09-28 2312
好久没有截取nginx/haproxy 中 的日志了，竟有点不熟悉了。 记录一下，以免以后忘记。 NGINX 日志格式： 192.168.1.26 - - [14/Sep/2017:16:48:42 +0800] "GET /ui/favicons/favicon-16x16.png HTTP/1.1" 304 0 "http://192.168.1.124/app/kibana" ...
Linux - Sed 命令（按时间截取日志）
11-14 1914
Linux - Sed 命令（按时间截取日志）
awk和sed截取nginx和tomcat时间段日志
08-22 912
nginx日志截取示例 日志路径：/usr/local/nginx/logs, 截取access.log中2019年3月24日17点00~02之间的日志：　写法1： cat access.log | awk '$4 >="[24/Mar/2019:17:00:00" && $4 <="[24/Mar/2019:17:02:00"' 　写法2： cat access.lo...
grep+sed+awk精确提取文档中的ip地址，并统计ip出现次数，容错度较高
u010728768的博客
03-08 1194
grep+sed+awk精确提取文档中的ip地址，并统计ip出现次数，容错度较高 # 命令行： grep -Eo '([^0-9]|\b)((1[0-9]{2}|2[0-4][0-9]|25[0-5]|[1-9][0-9]|[0-9])\.){3}(1[0-9][0-9]|2[0-4][0-9]|25[0-5]|[1-9][0-9]|[0-9])([^0-9]|\b)' '这里填你要提取的文档路径...
使用sed截取日志
qq_34362409的博客
07-30 3668
使用sed截取日志 1、截取weblogic日志： sed -n ‘/2020-07-21 14:05/, /2020-07-21 14:15/p’ node1.out > weblogic1.out 2、截取tomcat日志(日期格式根据文件变化)： sed -n ‘/2020-07-10 09:00/, /2020-07-10 09:05/p’ catalina.out > tomcat1.out 3、截取nginx日志： sed -n '/14/Jul/2020:15:00/,
Linux awk命令用法
qq_41122834的博客
03-03 220
AWK是一种处理文本文件的语言，是一个强大的文本分析工具。 之所以叫AWK是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。 -F fs or --field-separator fs 指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。 -v var=value or --...
sed截取时间段内的日志
weixin_45112997的博客
09-02 4889
sed、grep截取日志
@如何截取需要的日志？--sed@
小菜鸟的天地
07-26 3933
小知识，大用处 今天在帮同事拉日志的时候，突然发现需要的日志太大了，然后就想着sed，然后按照要求拉取2011.07.25的日志，命令如下： sed -n '/2011.07.25/,$p' FO_GROUP~APP_OC4J~FO_GROUP~1.log > FO_GROUP~APP_OC4J~FO_GROUP~1-as31.log   sed -i '/memcache/i\\= '
Linux 截取日志
是个吃不饱的人
04-15 1066
Linux 关于日志的截取
Linux工具：sed按时间段截取日志文件
Brave_heart4pzj的博客
01-29 4075
Linux
如何用awk等方法截取时间段日志
m0_64303422的博客
07-27 665
日志信息格式如上图，怎么可以快速截取出某个时间段的日志，例如我要7月26日的日志，就可以直接截取出所有26日的日志，要26-27日，就会可以截取出26-27日所有日志信息。
sed命令截取指定日期内日志文件
weixin_34184158的博客
04-05 1238
sed命令截取指定日期内日志文件的方法，sed命令用法例子。 文件内容格式： ***** 系统信息：Accessing Time:2013-03-22 09:24:12 系统信息：WebLogic WebService Accessing Success：DealFlowSub () ******* 系统信息：Accessing Time:2013-03-22 0...
linux 日志拆分 awk,awk截取日志
weixin_39812465的博客
05-05 440
好久没有截取Nginx/haproxy 中 的日志了，竟有点不熟悉了。记录一下，以免以后忘记。Nginx 日志格式： 192.168.1.26 - - [14/Sep/2017:16:48:42 +0800] "GET /ui/favicons/favicon-16x16.png HTTP/1.1" 304 0"http://192.168.1.124/app/kibana" "Mozilla/5...
awk截取字符
04-10
<think>好的，我现在需要回答用户关于如何使用awk截取指定字符的问题。首先，我得回忆一下awk的基本用法，特别是处理字符串的部分。用户提到了参考内容中的几个引用，我需要结合这些信息来组织答案。 首先，用户提供的引用中提到，awk通过分隔符将行分割成字段，使用$1、$2等来引用这些字段。比如引用[1]和[2]都说明了这一点，默认分隔符是空格，但可以用-F指定其他分隔符。所以，截取字符的关键在于正确设置分隔符并选择对应的字段。 然后，用户的问题是关于截取指定字符，可能需要用到substr函数或者通过分隔符分割字段。比如引用[3]中的例子用了拼接字段，而引用[4]展示了如何用awk和cut结合处理字符串。另外，引用[5]中的sed命令虽然不直接相关，但可能涉及到文本处理的其他工具。 接下来，我需要分步骤解释如何使用awk截取字符。首先应该介绍指定分隔符的方法，比如-F选项，然后展示如何选取特定字段。比如使用-F:来以冒号分割，然后取第二个字段。另外，如果用户需要从固定位置截取，可能需要使用substr函数，比如截取第3到第5个字符。 还要注意示例的提供，比如处理/etc/passwd文件，或者自定义的输入。例如，引用[1]中的例子处理了/etc/passwd，这里可以举类似的例子。另外，引用[4]中的示例用到了管道符和多个命令，这可能需要说明如何处理更复杂的情况。 同时，用户可能关心如何处理默认空格分隔和自定义分隔符的情况，需要分别举例说明。比如，使用默认空格分隔时，直接使用$1、$2等，而自定义分隔符如-F:则按冒号分割。 可能还需要提到如何同时使用多个分隔符，比如使用-F'[分隔符]'来指定多个分隔符，这在引用[3]的例子中出现了，比如-F '[.]'，用点号作为分隔符。 最后，总结一下常用的方法，强调根据需求选择字段分割或字符串截取函数，并提供多个示例帮助用户理解。同时，确保示例中的命令语法正确，并符合用户提供的引用中的方法。</think>### 逐步解析：使用`awk`截取指定字符的方法 `awk` 截取字符的核心逻辑是通过 **字段分割** 或 **字符串函数** 实现。以下是具体方法及示例： --- #### 一、通过字段分割截取 **原理**：指定分隔符将文本行切分为多个字段，用 `$1`、`$2` 等引用所需字段[^1][^2]。 1. **指定单个分隔符** 语法：`awk -F'分隔符' '{print $n}'` **示例**： ```bash # 截取/etc/passwd中每行的第一个字段（用户名） awk -F':' '{print $1}' /etc/passwd ``` 输出结果类似： ``` root bin daemon ... ``` 2. **指定多个分隔符** 语法：`awk -F'[分隔符1分隔符2]' '{print $n}'` **示例**： ```bash # 以冒号和斜杠为分隔符，截取第3个字段 echo "path:/usr/local/bin" | awk -F'[:/]' '{print $3}' ``` 输出： ``` usr ``` --- #### 二、通过字符串函数截取 **原理**：使用 `substr(str, start, length)` 函数从字符串固定位置截取[^3]。 - **语法**：`awk '{print substr($n, start_pos, length)}'` - **示例**： ```bash # 截取第2个字段的第3到第5个字符 echo "hello world 123" | awk '{print substr($2, 3, 3)}' ``` 输出： ``` rld ``` --- #### 三、综合应用场景 **场景1**：截取日志中的时间戳 ```bash # 日志格式：2023-10-01T12:34:56 [ERROR] Message... awk -F'[T ]' '{print $2}' error.log # 输出12:34:56 ``` **场景2**：处理版本号并提取子版本 ```bash # 输入："Version:2.5.8-beta" echo "Version:2.5.8-beta" | awk -F'[:-]' '{print $2,$3}' ``` 输出： ``` 2.5.8 beta ``` --- #### 四、注意事项 1. **默认分隔符为空格/TAB**，若字段包含空格需显式指定 `-F`[^2]。 2. **字段编号从1开始**，`$0` 表示整行内容。 3. **复杂截取可结合管道**，例如先 `awk` 再 `cut`（参考[^4]）。 --- 相关问题
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值