sed,awk ,head截取大文件效率，还是awk强

最新推荐文章于 2025-09-02 21:49:48 发布
原创 最新推荐文章于 2025-09-02 21:49:48 发布 · 5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#file

本文通过三个不同的命令比较了在处理大型文件时的时间效率：timesed、awk 和组合使用 head 与 tail。结果显示，对于指定范围的数据读取，这些工具在执行速度上存在显著差异。
[root@file data1]# time sed -n '31268618,33573328p' design.acl >/dev/null

real    1m15.584s
user    1m6.727s
sys    0m0.880s
[root@file data1]# time awk 'NR>=31268618;NR==33573328{exit}' design.acl >/dev/null

real    0m29.460s
user    0m14.713s
sys    0m0.938s
[root@file data1]# time head -33573328 design.acl | tail -31268618 >/dev/null

real    1m8.819s
user    0m3.761s
sys    0m5.090s

solarium
关注
万字长文搞懂Linux 字符截取命令：cut、awk、sed
吻等离子的博客
04-16 1094
Linux 系统中，日志文件、配置文件和命令输出通常包含大量文本数据。提取特定字段或列（如从日志中提取时间戳）。转换文本格式（如替换、分隔）。过滤和整理数据（如按条件筛选行）。cut是一个简单高效的工具，用于从文本行中提取特定部分。它支持按字符、字节或字段（以分隔符分割）进行截取，常用于处理结构化的文本数据（如 CSV 文件或命令输出）。awk是一个功能强大的文本处理工具，支持模式匹配、字段处理、计算和编程逻辑。
linux下sed awk gsub 替换分隔符效率比较
huazicomeon的博客
12-16 2687
同事有个替换分隔符的需求，','替换为'\x01'，文件记录数有2亿+。使用sed处理1000w条数据大约用了10分钟，算下来整个文件处理完要用200分钟，时间过长。记得去掉csv文件每行记录的最后一个字段时awk处理要比sed快很多，于是尝试使用awk来替换分隔符，经过测试效率能够提高5-6倍，在此记录一下。 一、对一个200w+的文件处理，每行有6个字段 1、使用sed处理（用时76s...
linux head命令（head指令）（获取文件或管道输出结果前n行，默认前10行）与sed命令区别
Dontla的博客
02-11 2157
head命令是一个在Linux系统中常用的命令，用于读取文件的前几行（默认读取前10行）
grep、sed、awk——高效文件处理3剑客
Z_Data的博客
08-06 709
目录 grep 简介 实际使用 小结 sed awk 名字由来 强大的文本处理工具 语法 域 模式&动作 结合正则 复合表达式 printf 格式化输出 内置变量 内置函数 awk脚本 grep、sed、awk我们叫他们三剑客，掌握它们可以更好的运维，提升工作效率，即使不是运维，对我们处理数据都是非常方便的～就很多数据处理来讲，写程序肯定是也能处理的，但是远没有已经存在特定功能的命令更高效，我们只需要操作命令即可。 grep 简介 grep是一款强.
性能工具之linux三剑客awk、grep、sed详解
Mo小泽的技术博客
01-04 7179
文章目录前言概述grep = global regular expression print示例数据文件一个简单例子正则表达式特殊字符更多的 regexp 的例子AWKAWK 基础知识AWK 模式匹配AWK 控制语句AWK 输入/输出语句AWK 数学函数AWK 字符串函数AWK 命令行和用法sed = stream editorsed 基础sed 和正则表达式其它 SED 命令延伸阅读总结 前言...
编辑替换大文件中的数据sed
clcj66885的博客
03-24 439
使用sed编辑替换大文件中的数据 # 替换文件中的所有匹配项 sed -i 's/原字符串/替换字符串/g' filename 例如 替换backup_40.sql 文件中的ucs2为utf8 sed -i ...
shell三剑客（sed+awk）
爱敲代码的三毛的博客
08-25 2566
1、正则表达式必须以”/“前后规范间隔例如：sed '/root/d' file例如：sed '/^root/d' file2、如果匹配的是扩展正则表达式，需要使用-r选来扩展sedgrep -Esed -r+?注意：在正则表达式中如果出现特殊字符(^$.*/[]),需要以前导 "\" 号做转义3、逗号分隔符例如：sed '5,7d' file 删除5到7行例如：sed '/root/,/ftp/d' file。
awk和sed截取nginx和tomcat时间段日志
08-22 909
nginx日志截取示例 日志路径：/usr/local/nginx/logs, 截取access.log中2019年3月24日17点00~02之间的日志：　写法1： cat access.log | awk '$4 >="[24/Mar/2019:17:00:00" && $4 <="[24/Mar/2019:17:02:00"' 　写法2： cat access.lo...
【linux】grep、awk、sed实战练习（1）-template
Best_lgx的博客
01-16 555
linux grep awk sed
Linux文本处理三剑客之grep、awk、sed
qq_44212783的博客
07-14 412
文本处理三剑客grep、awk、sed
linux 文本分析，你遇到大文件打开的sed
阅读之后，对你有帮助，那就点个赞再走吧
04-22 1222
工作中，你会遇到很大的日志文件来分析，比如： 733M，这个看似很小，但是你win打开是很费事的，这个时候，我们就是用文本分析。 为了方便你的文件是否有你查找的字符，所以，先grep。grep -n 'snake_user' lvyou.sq 这里你就知道行号。然后你可以使用sed -n '5594141,5594161p' lvyou.sql查看 ...
无意中测试了grep，sed，awk的性能差异
weixin_33682790的博客
12-10 770
最近从数据库中导出了230万条文本文件格式的数据记录。开了台freebsd虚拟机。ram 256Mb，cpu 1 core。其实就是测试在相同的硬件环境下，grep，sed，awk（nawk）三个工具的搜索文件的效率。搜索结果：[root@ServerA/var]# time grep 18921373250 vo.txt //grep第一次搜索/20101220/100...
linux下awk日志分析,效率更高的awk分析日志的方法...-sed使用一例-linux下的ldconfig命令详解_169IT.COM...
weixin_35962351的博客
05-09 213
以前使用awk写过一个日志流量计算的单行命令，因为awk中没有sort函数，所以在中途采用了sort的方式，导致效率很低，在计算50GB+的日志时，运算时间慢的不可忍受。设想了很多方法来加快运算，比如舍弃awk改用perl来完成，如下：代码如下:#!/usr/bin/perluse warnings;use strict;my $access_log = $ARGV[0];my $log_patt...
Linux 大文件快速处理小的办法
qq_40907977的博客
06-15 376
1.背景 工作中使用MapReduce任务导出一批含有路径的文件，共计行数300W+，需要检测文件是否在对应的服务器中存在，而文件所在的服务器并非hadoop集群的服务器，因此打算采用bash脚本进行。具体的方法如下(可直接看方法2,方法1效率较低)： 2. 采用的方法 a. 方法1 原本打算使用如下脚本，进行简单验证： !/bin/bash count=0 cat oriTest.txt | while read data do count=$(( $count+1 )) echo $count dir=
大数据场景下，如何快速将Linux 大文件处理小
<sdffdsfsdfdfs>sfsfsfsdfsdffds</sdfsDS>Fsd
09-28 661
Python实战社群Java实战社群长按识别下方二维码，按需求添加扫码关注添加客服进Python社群▲扫码关注添加客服进Java社群▲来源：twt社区整理：大数据肌肉猿1.背景工作中使用...
shell 脚本实现行处理（sed、head、tail）
adayan_2015的博客
07-23 8472
文本的行处理，在文本处理中至关重要，现遇到问题，去除文本末尾2行的数据。现将其相关的行处理方法，做简单的总结： sed实现显示行： sed -n '1'p filename   // 显示filename第一行 sed -n '$'p filename   // 显示filename最后一行 sed -n '1,3'p filename  // 显示filename的第1行至第3行 sed -n...
提升工作效率1000%之Linux三剑客（grep、sed、awk）
Maynor的博客
11-02 745
处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。RS：输入记录分隔符；注意：以上都是内置变量，在引用时不需要前面加$，每新建一个变量，都需要加个-v,与变量名之间有无空格都可以，变量可以在引用之后再声明，但那一行的输出会输出空行。下面所说的是Linux中最重要的三个命令在业界被称为“三剑客”，它们是awk,sed,grep。算术操作符：x+y, x-y, x*y, x/y, x^y, x%y。
三剑客（sed awk head）
weixin_34087307的博客
07-17 118
① sed(替换)命令格式 sed [options] 'command' file(s)sed [options] -f scriptfile file(s)n 读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。g 表示行内全面替换。 p 表示打印行。 w 表示把行写入一个文件替换文本中的字符串： sed 's/book/books/' file-n选项和p命令一起使用表示只打印那...
从入门到实战：Linux sed命令全攻略，文本处理效率翻倍
最新发布
qq_45152408的博客
09-02 1468
本文全面介绍Linux文本处理利器sed命令，从核心原理到实战应用。sed作为流编辑器，通过模式空间实现非交互式文本处理，支持自动化、批量编辑和管道集成。文章详细解析sed的命令格式、核心选项（如-n、-i）和操作指令（p、d、s等），并演示文本查看、删除、替换、插入等基础操作。进阶部分涵盖多行处理和脚本批量处理，最后展示生产环境典型应用，如修改网络配置、日志分析和批量重命名。掌握sed能显著提升Linux环境下的文本处理效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值