grep/sed/awk与Perl比较的更新(2)

最新推荐文章于 2021-05-02 07:29:27 发布
原创 最新推荐文章于 2021-05-02 07:29:27 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#perl #date

通过改进程序处理方式，使grep/sed/awk组合能够一次性读取并处理完整文件，有效提升处理效率，运行时间缩短至29分钟7秒，表现优于Perl。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

根据同事的建议，我更改了grep/sed/awk组合处理的程序，让程序一次将文件读入内存，然后用grep/sed/awk处理，结束后再读下一个文件。这样改进后，运行时间为29m7s，较Perl更快一点。

 

files=$(find /home/sqmdata/${data_date}/*)

for f in $files; do

   grep/sed/awk...

done

 

skydreamer01
关注
Awk、Grep/Sed/Awk组合及Perl进行文本处理性能比较
老好人(廖海仁）的专栏
03-19 5645
Normal 0 7.8 磅 0 2 false false false MicrosoftInternetExplorer4 <object class
从九九乘法口决脚本，比较awk、bash/ksh和Perl的循环控制结构[附awk\shell\Perl脚本]...
weixin_34356555的博客
09-16 141
下面是我对编程的理解。如有类同纯属巧合，如果一个都没有的话算我胡扯。 编程语言这东西，重要的就两个方面，语法和思想。 如何学习，就好像我们学习一门外语一样，翻译和模仿。 看懂是最基本的，始终还是要写出来的，最终还得能说得出来。 今天拿来的这三个例子主要涉及到： 就是awk和shell的打印输出语法； awk和shell对数学运算的处理； a...
awk的基础应用
weixin_44547481的博客
01-09 193
awk的基础应用 awk的概念：昨天写的除了 sed 命令，Linux 系统中还有一个功能更加强大的文本数据处理工具，就是 awk。它诞生于 20 世纪 70 年代末期，这也许是它影响了众多 Linux 用户的原因之一。 AWK是一种优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。awk命名: Aho、Weingberger 和 Kernighan三个人的姓的缩写。 awk也是一个数据处理工具！相较于 sed 常常作用于一整个行的处理， awk 则比较倾向于一行当中分成数个
perl程序里怎么使用awk
shupan001的专栏
11-21 5058
问题：我现在想把 awk '{print $2}' from_file > to_file 这句话加入perl程序中，但是加上sytem和``之后都无法执行 答案：有很多命令在命令行可以执行的，但是不能直接放入perl中执行，需要对特殊字符进行转义。$ 前面都加上\试试，不然$3会被当作是perl中的变量。 建议最好是用perl直接写比较好，实在不会写，你把awk '{print $2}'
perl python文本处理_awk, python, perl文本处理效率对比(zz)
weixin_39638603的博客
12-16 368
转载，比较结果不一定正确，比较设计不一定科学.以下3个文件依次是用python、awk和perl写的脚本，做同一件事情：diff.sh f1 f2f1和f2每一行的第一个字段(以空格分割)为key，如果f2某一行的key在f1中不存在，则输出f2该行。比如：a.dat的内容是1 a2 ab.dat的内容是1 b3 b那么diff.sh a.dat b.dat则输出3 b代码：#!/usr/bin/...
类似SQL的文本处理工具bsed：简化sed/grep/AWK/Perl应用
从给定的文件信息来看，标题和描述强调了一种可以使用类似SQL语法来处理文本数据的工具，它能够替代传统的文本处理工具如sed、grep、AWK和Perl。在标签中还特别指出了这属于C/C++开发领域中的其他杂项。结合文件名和...
grep、sed、awk、perl等对正则表达式的支持的差别
11-01
在IT领域，文本处理是日常工作中不可或缺的一部分，而grep、sed、awk和perl这四个工具在处理文本时都广泛地使用了正则表达式。它们各自有着不同的特性和适用场景，理解它们之间的差异有助于我们更高效地进行文本操作...
linux系统，awk，grep，sed
08-13
### Linux系统中的查询三剑客：grep、awk、sed 使用详解 #### grep 命令详解 `grep` 是一个非常强大的文本搜索工具，它可以在文本中查找指定的字符串，并且能够逐行处理文本。这使得 `grep` 成为了文本处理和数据...
深度解析：grep、sed、awk、perl在正则表达式上的差异
标题中提到的grep、sed、awk、perl均是UNIX/Linux环境下经常用到的文本处理工具，它们都对正则表达式有良好的支持，但各自在功能、语法、使用场景上有所区别。下面将详细说明这些工具与正则表达式支持的差别： ### ...
java 执行 awk_在perl脚本中编写awk命令
weixin_29334463的博客
02-24 169
我有两种类型的制表符分隔输入文件，第一种是在第一列中垂直列出名称的矩阵，以及后续列中的数值 . 第二种类型的输入包含单个列，其中第一个文件类型的第一列中列出了相同名称的子集 .EX：input1Gary 1 2 3Yolanda 3 4 5Biff 5 6 7Hubert 8 9 10EX：input2GaryBiff虽然input2有几种不同的变体，但只有一个输入1 . 我有一个带有嵌入式awk...
cpp-用类似SQL的语法可代替sedgrepAWKPerl简单应用的文本处置工具
08-16
用类似SQL的语法、可代替sed/grep/AWK/Perl简单应用的文本处置工具
linux中awk的用法
铸剑娃的专栏
11-16 3051
awk的用法 首先我们创建一个要测试的文件test 内容: 1 2 3 9 test:test1 str:d strd 第一个 awk 让我们继续，开始使用 awk，以了解其工作原理。在命令行中输入以下命令： $ awk '{ print }' test 您将会见到 test 文件的内容出现在眼前。现在，解释 awk 做了些什么。调用 awk 时，我们指定 test 作为输入文
关于在perl中调用awk的问题
ace_fei的专栏
09-08 2968
虽然perl可以完成awk，sed的功能，但是有些人还是习惯将已经可用的awk，sed脚本嵌入到perl中。 但是光复制粘贴的话，经常会出错： sed "/[FHOT STKREC]/s/[()]/;/g" /home/lottery/blts/keno/log/ltsapp.p8756.txt.log |awk -F\; '{if($2>="14:27:20" && $2 这是因为
用awk获得匹配的正则表达式，完成Perl中的功能
chouyi2418的博客
08-02 211
一、问题如下： 有如下文件 [root@localhost ~]# cat file 123a4wk123 123a3wk1234 [root@localhost ~]# 在perl中,可以用“（）”来表示模式内存。 Perl code ...
使用 Perl 作为唯一命令行工具（抛弃 awk , sed 之类）
chuihe2040的博客
02-20 953
前言： 做为系统管理人员,每天面对大量的事情,所以他们想了很多法子来自动化,单行脚本就是其中之一,但到后来,他们发现要学的东西,又多又乱,比如sed和awk,单这二样,就可以写一本书出来.所以Larry Wall写了perl来替换学习n多的软件和语言,以perl来完成所有. ...
利用perl 改写awk统计
zhaoyangjian724的专栏
03-10 706
[root@dwh1 log]# who dwetl pts/0 2015-03-05 16:29 (10.130.136.56) dwetl pts/1 2014-12-12 20:41 (10.129.133.154) dwetl pts/2 2015-03-09 15:57 (10.129.224.28) root pts/
perl linux运行时间,【linux】grep 和【perl】 脚本实现的grep功能的运行时间差异
weixin_35381077的博客
05-02 173
参考在网上找到的代码，没想到相差那么大，应该是grep比perl的模式匹配更快吧。[gzhy@nearby stat]$ wc -l 1234033 1[gzhy@nearby stat]$ perl 1.plcost 1 secondszjtel : 32606[gzhy@nearby stat]$ perl 2.plcost 111 secondszjtel : 326062.pl#!/u...
awk、perl对多个文件取交集
weixin_30426065的博客
12-13 204
我手头上有五个文件,他们的格式都是一样的,如果我想求他们的交集,并且如果1、2、3、6、7列都相同,则输出其文件名“\t"$0.我尝试用awk去做,可是结果并不齐全.应该怎么做呢?1.505.txtWINGS 1000 4000 3 3/18_707 2 3ANNY 4000 7000 4 4/18_707 3 4MOLLY 3000 4300 5 5/18_707 4 5TINAG 8...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值