awk统计行数&去重展示

最新推荐文章于 2025-04-30 08:02:25 发布

代元培

最新推荐文章于 2025-04-30 08:02:25 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： Bash Linux Shell 文章标签： awk

本文链接：https://blog.youkuaiyun.com/sosemseo/article/details/116539633

Bash 同时被 3 个专栏收录

47 篇文章

订阅专栏

Shell

25 篇文章

订阅专栏

Linux

21 篇文章

订阅专栏

这段博客展示了如何利用awk命令在Linux环境中对文本文件进行数据筛选，具体包括统计第四列特定值且第五列满足特定条件的行数，以及对第二日文件的第一列进行去重展示。通过这些操作，可以高效地处理和分析数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# 统计第4列为0112并且第5列为00或者03的行数
awk -F '|' '{if(($4=="0112")&&($5=="00"||$5=="03")) print $1}' epcc0303_20210423.txt|wc -l

# 去重展示第一列的时间
awk -F '|' '{print $1}' epcc0303_20210422.txt|sort|uniq

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

代元培

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Linux 文本统计和去重操作系统

KrbwCoder的博客

09-26

192

在Linux操作系统中，我们经常需要处理文本文件，进行统计和去重等操作。本文将介绍如何使用Linux命令行工具来进行文本统计和去重操作。以上是基于Linux命令行工具的文本统计和去重操作的介绍，希望能对你有所帮助！命令可以对文本文件进行行数、单词数和字符数的统计。本文介绍了在Linux操作系统中进行文本统计和去重的方法。是一种强大的文本处理工具，可以用于去重文本文件。的特性对文件进行去重，并将结果输出到。要统计文本文件的字符数，可以使用。要统计文本文件的行数，可以使用。是要统计行数的文本文件的路径。

python分组求和法_awk分组求和分组统计次数

weixin_42304618的博客

02-03

1480

分组求和awk '{s[$1] += $2}END{ for(i in s){ print i, s[i] } }' file1 > file21awk'{s[$1] += $2}END{ for(i in s){print i, s[i] } }'file1>file2以第一列为变量名第一列为变量，将相同第一列的第二列数据进行累加打印出和.awk '{s[$1" "$2]...

参与评论您还未登录，请先登录后发表或查看评论

使用 awk for循环和数组实现去重功能：（sort 、uniq、tr 功能）

郑泽林

03-11

1978

文章目录   这个是我自己写的全部关于 awk学习的目录导航，感兴趣的可以看看。             本章直接使用 awk 中的for循环和数组实现去重 and 统计功能！         在学习之前，先来看一个知识点：首先，我们将变量a的值设为1，进行加法计算...

awk统计行数

red10057的专栏

11-16

1万+

awk 统计文件中满足特定条件的行数例文件tt.txt sdfasf,I,55,56,asdfadf223 sdfasf,I,55,56,asdfadf2230k 1313,I,55,56,asdfad xvxzv,I,55,56,asdf adfa,a,d,afasd vafasf,fff,aw,aaa fasf,a,55,56,asdf asdcc,I,55,fasd

Linux awk命令详解：3分钟掌握文本处理神器，运维必看！

热门推荐

11-13

3万+

awk 统计行数 awk 'BEGIN { sum = 0; } /root/ {print $0 sum++; } END { print sum; }' password root:x:0:0:root:/root:/bin/bash0 operator:x:11:0:operator:/root:/sbin/nologin1 2

AWK 行距和行号计算

极客点儿

07-26

788

http://blog.youkuaiyun.com/r77683962/article/details/8543488 http://blog.youkuaiyun.com/cbffyx/article/details/8998238 http://blog.sina.com.cn/s/blog_716844910100tfxv.html

awk 统计行总值

hanyh

07-07

246

[code="java"] awk -F"," 'ttl += $2 {print $2}' r1.csv | sort -n > t awk -F"," ' { ttl += $2; }END { print ttl }' r1.csv [/code]

shell中按列值统计行数及去除重复值

w417318472的专栏

03-28

4439

测试文件在系统文件中的shell文件夹中的test.log文件，内容为： abcdefg higklmn 12345 fuck! abcdefg higklmn 12345 fuck! abcdefg higklmn 12345 fuck! afdsaff adfgaga 63542 fdasg sdfasfd sdafadf 12345 asdga jfaldjf sdfasfs 6354

生产环境awk最佳实践

01-17

第一种方法中使用了一个额外的计数器`i`来计算行数，而第二种方法直接使用了`awk`的内置变量`NR`来表示总的输入记录数。 #### 四、求最大值为了找到第二列的最大值，可以使用以下脚本： ```bash [root@liuhx~]#...

shell---awk

m0_74201628的博客

04-29

649

awk 是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自一个或多个文件，或其它命令的输出。可以在命令行中使用，但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行操作。如果没有指定模式，则所有被操作所指定的行都被处理。awk处理过程: 依次对每一行进行处理，然后输出,默认分隔符是空格或者tab键。

awk统计字段出现行数（类似group by）

u011624157的专栏

03-01

1500

使用hdfs dfs -cat /prod/brand=xxx/*|awk -F "," '{print $4}' 可查看逗号分隔的第四个字段，如果想要统计该字段各值出现的次数，可以使用以下命令 hdfs dfs -cat /prod/brand=xxx/*|awk -F “,” ‘{count[$4]++;} END {for(i in count) {print i count[i]}}’ 命令可分解为两部分 1、{count[$4]++;} END #声明数组（数组名字可随便起，叫arr、li

【AWK】统计相同字符出现的行数

06-16

318

awk '{a[$1]++;if(!b[$1]++)c[++j]=$1}END{for(i=0;i++

awk行距，行号和计算

bright_mac的专栏

12-01

2万+

一. 行距：1. 每行间加一个空行awk 1; { print "" } filname.ext #输出当前行，在输出一个空行awk 1 { print } { print "" } filname.ext awk { print } { print "" } filname.ext2. 1的另外一种实现方法：awk BEGIN { ORS=

Linux-京东字节百度提前批，一面二面都被问到了awk——实例篇（2）去重统计排序

夏普通

05-10

1104

去年提前批我投了京东、字节和百度，一面，二面都被问到了awk，如果你会，并且还很熟悉，那肯定算是一个加分项了！好感度up up up！基本原理本篇不再赘述。请阅读：总结了200篇面经中的awk面试题，看看面试官会问什么！——原理篇总结了200篇面经中的awk面试题，看看面试官会问什么！——实例篇可能看完原理篇你还不是太清晰要怎么用，但是看完实例，绝对都能懂了！！重复的实例，代码只写一遍，看的时候举一反三。涉及到的其他命令，在第一次出现时会进行说明。有需要注意的格式、重点等等，在讲到具体实例的

linux awk 按多列去重来统计数据之妙用

会当凌绝顶一览众山小

04-18

2568

这是我日常工作统计日志用到的，现记录下：比如有这样一个日志：需要统计push,的点击数量，按cookie去重，因为一个设备可能点击多次第一步，先看看这几列，打印出来看看， awk -F "," '{print $2" "$3" "$6" "$7" "$9}' pushLog.log 第二步，按上面的几列去重 awk -F "," '!a[$2

使用awk按照行数切割文件

Yonx

08-12

1153

使用awk按照行数切割文件最近在做一个事情，需要将一个文本文件按照行数进行切割脚本如下: #!/bin/bash ## 文件效果: 根据行数来切割文件 ## 参数1为要切割的文件名 ## 参数2为每个切割后文件的行数 filename=$1 fileline=$2 echo "filename=$filename" echo "fileline=$fileline" awk -v count=$fileline 'BEGIN{i=0} { print $0 > sprintf(

正则awk和查看文件行数

weixin_30470643的博客

09-30

472

[root@WebServer aa]# cat oldboy.txt I am oldboy myqq is 49000448[root@WebServer aa]# cat oldboy.txt |cut -d " " -f3,6oldboy 49000448[root@WebServer aa]# awk '{print $3,$6}' oldboy.txt oldboy 49000448 ...

linux shell awk 统计行数,linux统计大文件行数的命令效率大对比,牛掰的awk 'END{print NR}' file...

weixin_33328213的博客

05-15

1168

[Administrator@mc-win@/cygdrive/e/SoftWares/Project/log/click/2017-03-17@10:33:49]517 $ time awk '{print NR}' click.log_2017-03-17T04|tail -n1116570real 0m2.535suser 0m1.499ssys 0m1.093s[Adm...