awk与shell效率比较

最新推荐文章于 2025-07-04 17:10:16 发布
最新推荐文章于 2025-07-04 17:10:16 发布
阅读量3.4k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： shell 文章标签： shell awk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/taotao193051/article/details/52921975
本文介绍两种文件对比方法，一种使用shell脚本逐行读取并对比，另一种利用awk进行内存计算。后者处理大量数据时速度远超前者，适用于快速找出两个文件间的差异。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 需求：对比2个文件，找出仅存在文件A中的行

  • 方法1

cat fileA | while read line
do
get=cat fileB|grep $line
if [[ x"$get" == x ]] ;then
echo $line >> diff.log
fi
done

  • 方法2

方法2：
awk '{if(ARGIND==1){val[$0]}else{if($0 in val) delete val[$0]}}'END'{for(i in val) print i}' fileA fileB


  • 效率

方法2的效率远高于方法1，处理300w数据，方法1天级，方法2秒级。原因：方法2，awk将所有数据装入内存计算

shell————三剑客之awk
鸡汤的博客
04-27 281
awk工作原理 逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。 sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!”表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。
awk与cut命令进行比较（就awk与cut按列提取文本内容方面进行比较）
01-09
实验：awk与cut命令进行比较 首先创建2个文件一个脚本文件一个txt文件 touch /tmp/test.sh /tmp/test.txt 创建成功 接下来进行实验 在脚本中随便写点东西用于测试用 执行权限不够 修改权限 修改成功 执行脚本 ...
shell和awk速度对比
03-10
对于大数据亮的数据处理，使用awk速度远远高于shell
awk与shell
iie_libi的博客
01-12 401
我认为在linux下awk是个好东东啊，处理一些文本文件会非常方便。而在Linux下嘛，经常会和shell打交道，所以awk和shell之间的变量相互传递，有时还是很有必要的，所以简单总结一下吧。   awk中使用shell中的变量 一: "'$var'" 这种写法大家无需改变用'括起awk程序的习惯,是老外常用的写法.如: var="test" awk 'BEGIN{print "'
shell编程之awk命令详解
最新发布
2301_81704123的博客
07-04 1039
我们可以在输出内容中添加注释、自定义分隔符等。例如，对于grades.txt。
shell 与 awk if,for,while 比较
weixin_34274029的博客
02-08 182
If If [ $1 –le 100 ];then echo ture;else echo false;fi If [[ $1<=100 ]];then echo ture;else echo false;fi Awk ‘BEGIN{test=100;if (test>90){print test;}}’ For: For I in (seq...
【linux】Shell 编程 awk 命令详解
sirria1的专栏
09-08 6295
在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。sed 命令常用于一整行的处理,而 awk 比较倾向于将一行分成多个“字段”然后再进行处理，且默认情况下字段的分隔符为空格或 tab 键。awk 允许在命令行中用 “-F 分隔符” 的形式来指定分隔符。不同的字段之间是通过指定的字符分隔。
shell 里 awk print 的用法详解
01-09
在Shell脚本中，awk命令是一个强大的文本分析工具，它能根据指定的模式对...通过熟练掌握awk，能够大幅提升处理文本文件的效率和便捷性。在实际工作中，可以根据需求灵活组合使用这些技巧，完成复杂的文本处理任务。
使用awk与shell去除字符串空格的函数示例
"函数去左右空格-awk与shell混合编程" 本文主要探讨了如何使用awk和shell脚本来去除字符串中的左右空格，特别是在函数`throwblank(outString)`中的实现。这个函数通过循环遍历字符串的首尾字符，判断并移除空格，...
关于Shell脚本效率优化的一些个人想法
09-15
1. **解释型语言的本质**: Shell脚本作为一种解释型语言，在执行过程中需要逐行解析和执行，这与编译型语言相比效率较低。 2. **顺序执行而非并行**: Shell脚本程序通常按照顺序执行的方式运行，无法充分利用多核...
Shell正则表达式之grep、sed、awk实操笔记
09-15
本文主要探讨了在Shell脚本编程中如何运用`grep`、`sed`与`awk`结合正则表达式来实现一些具体的需求。这些工具在文本处理方面极其强大，通过灵活运用它们，可以高效地完成文本搜索、替换、格式化等任务。 #### 二、...
shell 和awk性能对比
weixin_30487701的博客
05-07 255
time for ((i=0;i<10000;i++)) do ((sum+=i)); done real 0m0.086suser 0m0.079ssys 0m0.007stime awk 'BEGIN{for(i=0;i<10000;i++) sum+=i; print sum}' real 0m0.002suser 0m0.001ssy...
【shell】好牛逼的AWK
viviliving的专栏
07-23 257
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 使用方法 ： awk '{pattern + action}' {filenames} 尽管操作可能会很复杂，但语法总是这样，其中 pattern 表示 AWK 在数据中查找的内...
linux awk 效率,linux统计大文件行数的命令效率大对比,牛掰的awk 'END{print NR}' file...
weixin_33445930的博客
05-27 509
[Administrator@mc-win@/cygdrive/e/SoftWares/Project/log/click/2017-03-17@10:33:49]517 $ time awk '{print NR}' click.log_2017-03-17T04|tail -n1116570real 0m2.535suser 0m1.499ssys 0m1.093s[Adm...
linux 效率高,linux命令之行处理命令awk命令(重要,效率很高的一个命令)
weixin_35772916的博客
05-26 292
awk命令是处理文件的行命令,文件的每一行都会按照指定的方式去处理.尤其是在数据库批量操作的情况下,使用行命令加行命令的语法迅速的写sql语句,然后配合mysql命令行 -N < sql文件 执行sql命令非常高效下面是awk 命令的详解{} 命令代码块,包含一条或多条命令, 多条命令使用分号分隔-F 指定分隔符 , 比如$0 表示整行,$1,$2指第一列和第二列,-F参数就是指定以什么...
几个硬盘速度对比
记录点滴
12-27 2297
测试命令： io=$( ( dd if=/dev/zero of=test_$$ bs=64k count=16k conv=fdatasync && rm -f test_$$ ) 2>&1 | awk -F, '{io=$NF} END { print io}' ) echo "I/O speed : $io" gigenet  ST1000NM0033-9ZM173 （1TB SATA
awk运行效率存在巨大差异,4.0很给力！
weixin_34408624的博客
11-03 727
测试：[root@apply1 67]# wc -l duomi-delay-2012-11-0137818115 duomi-delay-2012-11-01/usr/local/bin/awk --versionGNU Awk 4.0.1Copyright (C) 1989, 1991-2012 Free Software Foundation.[root@appl...
Shell之awk命令
weixin_62466637的博客
12-28 1万+
一、工作原理 逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。 sed命令常用于--整行的处理，而awk比较倾向于将一行分成多个“字段"然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。 在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“11”表示“或”、 “!”表示“非”; 还可以进行简单的数学运算，如+、-、*、/、号、^分别表示加、减、乘、除、
shell之三剑客awk（基础用法）
热门推荐
种一颗树最好的时间是十年前，其次是现在！
07-11 4万+
AWK是一种处理文本文件的语言，是一个强大的文件分析工具。它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描，过滤，统计汇总等工作，数据可以来自标准输入也可以是管道或文件。当读到第一行时，匹配条件，然后执行指定动作，在接着读取第二行数据处理，不会默认输出。如果没有定义匹配条件，则是默认匹配所有数据行，awk隐含循环，条件匹配多少次，动作就会执行多少次。逐行读取文本，默认以空格或tab键为分割符进行分割，将分割所得的各个字段，保存到内建变量中，并按模式或或条件执行编辑命令。与sed工作原理相比：s
Shell脚本效率提升策略与awk命令对比
本文主要探讨了Shell脚本效率优化的一些个人见解和实践技巧，由于缺乏专业书籍和网络资源的指导，作者结合自己的经验和理解，分享了如何在Shell脚本的局限性下提高程序效率。首先，作者指出Shell作为解释型语言，其...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值