awk统计行数&去重展示

最新推荐文章于 2025-11-01 11:46:08 发布

原创最新推荐文章于 2025-11-01 11:46:08 发布 · 1.9k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#awk

Bash 同时被 3 个专栏收录

47 篇文章

订阅专栏

Shell

25 篇文章

订阅专栏

Linux

21 篇文章

订阅专栏

这段博客展示了如何利用awk命令在Linux环境中对文本文件进行数据筛选，具体包括统计第四列特定值且第五列满足特定条件的行数，以及对第二日文件的第一列进行去重展示。通过这些操作，可以高效地处理和分析数据。

# 统计第4列为0112并且第5列为00或者03的行数
awk -F '|' '{if(($4=="0112")&&($5=="00"||$5=="03")) print $1}' epcc0303_20210423.txt|wc -l

# 去重展示第一列的时间
awk -F '|' '{print $1}' epcc0303_20210422.txt|sort|uniq

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

代元培

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Linux 文本统计和去重操作系统

KrbwCoder的博客

09-26

246

在Linux操作系统中，我们经常需要处理文本文件，进行统计和去重等操作。本文将介绍如何使用Linux命令行工具来进行文本统计和去重操作。以上是基于Linux命令行工具的文本统计和去重操作的介绍，希望能对你有所帮助！命令可以对文本文件进行行数、单词数和字符数的统计。本文介绍了在Linux操作系统中进行文本统计和去重的方法。是一种强大的文本处理工具，可以用于去重文本文件。的特性对文件进行去重，并将结果输出到。要统计文本文件的字符数，可以使用。要统计文本文件的行数，可以使用。是要统计行数的文本文件的路径。

Linux-对文本某列去重-并统计个数-awk

To_Get_Life

03-14

5187

awk '{print $2}' test.txt |sort |uniq |wc -l 待处理文本如下： $ cat test.txt 10003141 98 优秀 10003446 80 良好 10003460 85 优秀 10003967 50 不及格 10004205 70 及格 10004526 88 优秀 10005500 98 优秀 10005583 65 及格 1000567...

参与评论您还未登录，请先登录后发表或查看评论

awk统计行数

red10057的专栏

11-16

1万+

awk 统计文件中满足特定条件的行数例文件tt.txt sdfasf,I,55,56,asdfadf223 sdfasf,I,55,56,asdfadf2230k 1313,I,55,56,asdfad xvxzv,I,55,56,asdf adfa,a,d,afasd vafasf,fff,aw,aaa fasf,a,55,56,asdf asdcc,I,55,fasd

Linux文本分析工具awk：统计文件行数和单词数的方法

热门推荐

11-13

3万+

awk 统计行数 awk 'BEGIN { sum = 0; } /root/ {print $0 sum++; } END { print sum; }' password root:x:0:0:root:/root:/bin/bash0 operator:x:11:0:operator:/root:/sbin/nologin1 2

AWK 行距和行号计算

极客点儿

07-26

816

http://blog.youkuaiyun.com/r77683962/article/details/8543488 http://blog.youkuaiyun.com/cbffyx/article/details/8998238 http://blog.sina.com.cn/s/blog_716844910100tfxv.html

awk 统计行总值

hanyh

07-07

257

[code="java"] awk -F"," 'ttl += $2 {print $2}' r1.csv | sort -n > t awk -F"," ' { ttl += $2; }END { print ttl }' r1.csv [/code]

shell中按列值统计行数及去除重复值

w417318472的专栏

03-28

4474

测试文件在系统文件中的shell文件夹中的test.log文件，内容为： abcdefg higklmn 12345 fuck! abcdefg higklmn 12345 fuck! abcdefg higklmn 12345 fuck! afdsaff adfgaga 63542 fdasg sdfasfd sdafadf 12345 asdga jfaldjf sdfasfs 6354

linu日志统计去重

08-07

在Linux系统中对日志进行统计并去重是常见的运维任务，能够帮助系统管理员更高效地分析日志信息、识别异常行为并优化系统性能。以下是一些常用的方法和技术： ### 日志统计方法 1. **使用 `wc` 命令统计日志文件的...

linux统计一个文件的行数，要求去掉重复行

05-07

统计行数通常用wc -l命令，但用户还要去重，所以得先处理重复行。首先，想到的是用sort和uniq命令组合。sort用来排序，uniq -c可以统计重复行的次数，但用户可能只需要唯一的行数。或者，uniq命令本身就能去掉重复...

生产环境awk最佳实践

01-17

第一种方法中使用了一个额外的计数器`i`来计算行数，而第二种方法直接使用了`awk`的内置变量`NR`来表示总的输入记录数。 #### 四、求最大值为了找到第二列的最大值，可以使用以下脚本： ```bash [root@liuhx~]#...

awk统计字段出现行数（类似group by）

u011624157的专栏

03-01

1546

使用hdfs dfs -cat /prod/brand=xxx/*|awk -F "," '{print $4}' 可查看逗号分隔的第四个字段，如果想要统计该字段各值出现的次数，可以使用以下命令 hdfs dfs -cat /prod/brand=xxx/*|awk -F “,” ‘{count[$4]++;} END {for(i in count) {print i count[i]}}’ 命令可分解为两部分 1、{count[$4]++;} END #声明数组（数组名字可随便起，叫arr、li

【AWK】统计相同字符出现的行数

06-16

337

awk '{a[$1]++;if(!b[$1]++)c[++j]=$1}END{for(i=0;i++

awk行距，行号和计算

bright_mac的专栏

12-01

2万+

一. 行距：1. 每行间加一个空行awk 1; { print "" } filname.ext #输出当前行，在输出一个空行awk 1 { print } { print "" } filname.ext awk { print } { print "" } filname.ext2. 1的另外一种实现方法：awk BEGIN { ORS=

Linux-京东字节百度提前批，一面二面都被问到了awk——实例篇（2）去重统计排序

夏普通

05-10

1296

去年提前批我投了京东、字节和百度，一面，二面都被问到了awk，如果你会，并且还很熟悉，那肯定算是一个加分项了！好感度up up up！基本原理本篇不再赘述。请阅读：总结了200篇面经中的awk面试题，看看面试官会问什么！——原理篇总结了200篇面经中的awk面试题，看看面试官会问什么！——实例篇可能看完原理篇你还不是太清晰要怎么用，但是看完实例，绝对都能懂了！！重复的实例，代码只写一遍，看的时候举一反三。涉及到的其他命令，在第一次出现时会进行说明。有需要注意的格式、重点等等，在讲到具体实例的

linux awk 按多列去重来统计数据之妙用

会当凌绝顶一览众山小

04-18

2594

这是我日常工作统计日志用到的，现记录下：比如有这样一个日志：需要统计push,的点击数量，按cookie去重，因为一个设备可能点击多次第一步，先看看这几列，打印出来看看， awk -F "," '{print $2" "$3" "$6" "$7" "$9}' pushLog.log 第二步，按上面的几列去重 awk -F "," '!a[$2

linux - awk - 文本统计命令

草青工作室的专栏

11-10

850

linux - awk - 文本统计命令使用awk命令,可以处理一下任务：管理小型个人数据库产生报告验证数据产生索引并执行其他文档准备任务测试算法提取数据片段进行处理排序数据执行简单的网络通讯分析和调试awk程序用C或C ++编写的函数扩展语言官网： http://www.gnu.org/software/gawk/manual/gawk.html 一、语法 awk '{pa...

使用awk按照行数切割文件

Yonx

08-12

1180

使用awk按照行数切割文件最近在做一个事情，需要将一个文本文件按照行数进行切割脚本如下: #!/bin/bash ## 文件效果: 根据行数来切割文件 ## 参数1为要切割的文件名 ## 参数2为每个切割后文件的行数 filename=$1 fileline=$2 echo "filename=$filename" echo "fileline=$fileline" awk -v count=$fileline 'BEGIN{i=0} { print $0 > sprintf(

正则awk和查看文件行数

weixin_30470643的博客

09-30

483

[root@WebServer aa]# cat oldboy.txt I am oldboy myqq is 49000448[root@WebServer aa]# cat oldboy.txt |cut -d " " -f3,6oldboy 49000448[root@WebServer aa]# awk '{print $3,$6}' oldboy.txt oldboy 49000448 ...