用awk比较两个文件是否含有相同的数据

最新推荐文章于 2024-06-12 15:44:33 发布

原创最新推荐文章于 2024-06-12 15:44:33 发布 · 1.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#awk #shell

本文介绍了一种利用awk命令处理两个特定格式文本文件的方法。通过对文件内容进行分析，实现了从第二个文件中筛选出符合条件的数据行，这些数据行的第一个字段出现在第一个文件中。此过程涉及到对awk命令及其选项的理解与应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

现在两个文件格式如下：
test1:
aaa
bbb
ddd

test2:
aaa|1000
bbb|2000
ccc|3000
ddd|4000

awk -F'|' 'NR==FNR{a[$1]++}NR!=FNR{if($1 in a){print}}' test1.txt test2.txt

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

lx83350475

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Awk处理文件中的日期差异

m0_62153576的博客

06-22

本文介绍了使用Awk脚本处理文本文件中日期差异的方法。针对一个包含11列任务记录的实例文件，作者尝试计算第二列日期与当前日期的天数差并添加到第12列。初版Awk命令遇到行尾格式问题（CRLF导致数据错位），提供了两个解决方案：使用dos2unix转换文件格式，或在Awk脚本中移除回车符。最终成功实现日期差异计算，强调跨平台处理文本时行结束符的重要性，展示了Awk在文本数据处理中的强大功能。

linux 对比文件awk,关于linux：AWK比较两个单独文件中的两列

weixin_29691667的博客

05-02

1760

我想比较两个文件并执行以下操作：如果第一个文件中的第5列等于第二个文件中的第5列，我想从第一个文件中打印整行。那可能吗？我搜索了问题，但找不到解决方案:(这些文件由制表符分隔，我尝试了如下操作：zcat file1.txt.gz file2.txt.gz | awk -F'\t' 'NR==FNR{a[$5];next}$5 in a {print $0}'是否有人尝试做类似的事情？ :)在此...

参与评论您还未登录，请先登录后发表或查看评论

awk对两个文件的比较

Herr Apfel的专栏

10-29

4150

我现在写shell统计遇到一个问题, 比如一个文件a里是1,022,05这种格式另一个文件b里是 3,025,05这种格式,我想让如果a b 逗号后面(02或05)的相同的话, 则把 b的逗号前面的(3或5) 放在 a 对应的后面怎么做啊?谢谢了解答: awk -F, NR==FNR{a[$2]=$1}NR>FNR{print $0","a[$2]} fileb fi

awk比较两个文件

Knight_M_Moon的博客

06-13

4218

AWK按行或按某列比较两个文件相同和不同

awk两个文件对比

litongtong1028的博客

04-30

869

最简单的方式是使用linux的comm命令，但是需要文件有序，comm命令的参数： -1 不显示只在第1个文件里出现过的列。 -2 不显示只在第2个文件里出现过的列。 -3 不显示只在第1和第2个文件里出现过的列。 comm命令是一个非常简洁的命令，其只有两个参数。不过三个参数也结常要组合使用，我们常用的用法如下: comm - 12 就只显示在两个文件中...

awk比较两个文件的异同

热门推荐

panther的专栏

11-23

1万+

1.同时在file1和file2中的行 awk '{if(ARGIND==1) {val[$0]}else{if($0 in val) print $0}}' file1 file2 2.只在file1中有的行. awk '{if(ARGIND==1) {val[$0]}else{if($0 in val) delete val[$0]}}END{for(i in val) prin

利用awk、xargs等命令和find命令结合批量处理文件

HoZanDung的博客

03-27

1165

利用awk、xargs等命令和find命令结合批量处理文件

AWK基础教程

qijigougou的博客

04-27

2079

前言之前针对WorkerHub小程序做的数据分析文章 XXX 收到了一些小伙伴的回复，点名要学习数据分析，其实我也是一知半解，想着来写几篇文章简单聊下我分析的过程。首先是数据清洗和统计了，这块我并没有用诸如Python之类的脚本语言，虽然Python提供了很多强大的数据分析库如Pandas、Numpy等，但是毕竟要麻烦一些，还要写个脚本，装一堆库(PS：其实就是懒)。我用的是一个老的Unix工具 AWK，虽然历史比较久远，但是它简洁和丰富的功能可以称之为神器，同时也是后台同学必须要掌握的一个工具，

Sed与awk第二版(高清版).pdf

03-08

根据提供的文件信息，我们可以从《Sed与awk第二版(高清版).pdf》这一资源中提炼出关于Sed和awk这两个强大的文本处理工具的相关知识点。虽然免责声明部分并未提供具体的技术内容，但我们可以通过书籍的标题、描述及...

13.shell awk基础

JCWang的博客

06-12

953

3、以:为分隔符,匹配/etc/passwd文件中第7个字段不为/bin/bash的所有行信息。2、以:为分隔符,匹配/etc/passwd文件中第7个字段为/bin/bash的所有行信息。2、以:为分隔符,匹配passwd文件中第3个字段小于50并且第4个字段大于50的所有行信息。4、以:为分隔符,匹配/etc/passwd文件中第3个字段包含3个数字以上的所有行信息。{action}：是在匹配到模式的行上执行的动作。1、以:为分隔符,匹配/etc/passwd文件中第3个字段小于50的所有行信息。

awk 比较两个文件的异同

weixin_34050389的博客

02-06

188

# cat file1 module1 1.1 123 module2 2.1 123 module11 module12 #cat file2 module1 1.1 123 module3 3.1 123 module21 module22 # ./compare.sh module1 1.1 same module3 3.1 differ...

awk比较两个文件中多列相同或者不同的行

lukabruce的博客

09-23

4855

http://stackmirror.caup.cn/page/rhoezkk0vghd awk -F, 'NR==FNR{ arr[$2]=$2 $1; next } { print $0, (arr[$2]==$2 $3?"ok":"nok") }' OFS=, def.txt data.txt d1,40,gold,ok d2,30,silver,ok d3,20,bron...

awk找出两个文件不同或相同的内容

hanzhonghai2010的博客

11-07

7388

找出两个文件相同或不同的内容在Linux 系统查找中要找出两个文件相同或不同的内容，可以借助awk 的命令来实现。找出文件2中不同的值 awk ‘NR==FNR{a[$0]}NR>FNR{ if(!($0 in a)) print $0}’ file1 file2 找出两文件中相同的值 awk ‘NR==FNR{a[$0]}NR>FNR{ if($0 in a) prin...

linux awk 两个文件内容,一次awk对两个文本文件内容对比引出的解释

weixin_31199791的博客

05-05

927

摘要群里出现了一个文本文件对比的问题，我用awk写了，但是有些大神刁难我，让我说出命令的含义，就有了这篇文章，说实话我很喜欢做awk类的问题，但也很pa做awk类的问题，我awk普通的parint应该没什么问题，问题稍微复杂点，我估计就要卡壳半天了。。。。。甚至不知道咋办。。。。。。我自己有时候安慰自己不是我太笨是awk太高级。。。[root@Legion100 ~]# cat 1.txt2723...

awk应用之两文件求交集、并集、差集

程序员青菜学厨记

08-19

1199

做系统运维时，经常需要对两个文件求并集、交集或差集，用临时表、脚本语言、Excel都可以处理，但不够方便，使用awk只需要简短一条语句就可以搞定，不过语法比较生涩难懂，下面讲一下这几条语句的执行过程。两个数据文件如下：a.txtb.txt。

awk 命令处理两份数据文件，依据id相同，筛选相同的数据

qq984676583的博客

07-11

2539

awk处理两份数据文件，将拥有相同id的数据筛选出来。不久之前我领导部署给我一份任务，一份数据量百万级的文件和另一份数据量百万级的文件筛选拥有相同id的文件，这种数据量级别的文件靠WPS是无法完成的，电脑配置一般的话甚至打开文件都无法做到，所以我将两份文件上传到linux环境下，执行以下命令。文件1：shannxi.csv 3000行文件2：basepoi.csv 4500...

linux diff命令使用：比较两个文本文件，找出其中的不同项并打印出来

学亮编程手记

08-01

2577

【代码】linux diff命令使用：比较两个文本文件，找出其中的不同项并打印出来。

awk中if判断变量和字符串是否相等

qq_39590773的博客

10-19

9152

if $4 =="P"{ n_P=n_P+1; print $2 > t_dis.txt } else if($4 =="S"){ n_P=n_P+1; print $2 > t_dis.txt } if的判断条件根本没有执行，可能是因为，文件的格式没有完全一致，导致$4的格式与P只有部分符号，此时就可以利用不完全匹配法来判断变量和字符串是否相同。 if $4 ~"P"{ n_P=n_P+1; print $...

将文件1含有123的行和文件2含有456的行合并成一个文件