shell+awk获取一文件第三列数据并去重

最新推荐文章于 2025-05-13 20:50:28 发布
最新推荐文章于 2025-05-13 20:50:28 发布
阅读量1.3w 收藏 3
点赞数 1
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/a936676463/article/details/8889292
本文介绍了一种从日志文件中提取特定字段并进行排序及去重的数据处理方法。通过使用awk命令筛选日志文件中的第三列数据，再利用sort和uniq命令进行数值排序与重复项去除，实现了高效的数据预处理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

awk '{ print $3 }'  ws.log > temp.log

 sort -n temp.log | uniq

a936676463
关注
Linux-Shell-awk&指定列去重
The One
09-20 1万+
zgrep -a PlayerEnterInfo Audit_2016-08-02.tgz|awk -F, '{ar[$7]=$0}; END{for (i in ar) print ar[i];}' #$7为指定的列数， ar[]是awk中的队列#!/bin/bash # coding=utf-8 # auth Lee at 20160120Date=`date +%F -d '-1 da
shell脚本--awk数组实现去除重复行
Andy_Hanna的专栏
11-18 3397
去除重复行的方法有很多，这里介绍三种。 测试文本： [root@172-0-10-222 myscripts]# cat testfile andy 123456 hanna 123456 hello world welcome fuck andy 123456 hello world andy andy 这其中，有andy 123456和hello world是重复的。 （1）使用so...
shell awk、去重、排序
感谢你的关注~~~~ღ( ´･ᴗ･` )
06-03 1915
数据
day7-排序-去重-awk
最新发布
日常分享linux运维知识
05-13 324
本文介绍了Linux系统中常用的文本处理命令及其应用场景。首先，sort命令用于对文件或管道内容进行排序，支持按数字、列、分隔符等多种方式进行排序，并可结合head命令提取前几行。其次，uniq命令用于去重，常与sort搭配使用，支持显示重复次数。此外，awk命令用于提取指定列，支持倒数列的操作。最后，文章展示了如何利用这些命令进行日志分析，例如统计IP出现次数或分析密码破解尝试的IP地址。这些命令在文件处理、数据分析和日志监控中具有广泛的应用。
awk 中简单的去重方法
slow is fast
11-25 1122
 一个简单的去重方法： awk '!($1 in a){a[$1];print $1}'   同样达到效果的 sort $1 | uniq 
linux awk重定向,awk之重定向
weixin_39534208的博客
05-14 614
1.输出重定向将awk的输出重定向到unix/linux文件时，会使用shell的重定向操作符，重定向的目标文件名必须用双引号括起来，如果使用的重定向操作符为>。则文件被打开并清空。文件一旦打开，就会保持打开状态直至显示关闭或awk程序结束，此后print语句的输出都将追加到文件的尾部。符号>>也用于打开文件，但是不清除文件内容，只向文件追加内容awk '$4 >=70{p...
awk筛选出第一列为指定条件的第三列内容
gglddu的专栏
05-18 778
应用场景：docker删除名为<none>的镜像，命令如下： docker images | awk '$1~/none/{print $3}'
shell两个文件去重的多种姿势
09-15
本文将详细介绍如何使用shell来解决两个文件的去重问题，这在数据分析、日志处理或关键词挖掘等场景中非常实用。 首先，我们需要理解问题背景：有两个文件，A.txt 和 B.txt。A.txt 包含关键词和搜索量，由逗号分隔...
awk如何把一个文件按第三列去重并统计重复个数最后按倒叙排列
09-10
这样，awk就可以将文件按照第三列去重并统计重复个数，最终按照重复个数的倒序排列输出。 ### 回答3： 使用awk命令可以很方便地实现按第三列去重并统计重复个数，然后按照倒叙排列的操作。 首先，我们可以使用awk...
Linux shell命令统计某列去重后的值
09-15
本文主要介绍如何使用 Linux Shell 命令来实现对文本文件中某列数据进行去重并统计的过程。具体应用场景为：根据 MAC 地址获取其对应的硬件版本和软件版本，并基于硬件版本对 MAC 地址的数量进行统计。 #### 需求...
awk技巧（如取某一行数据中的倒数第N列等）
weixin_34186128的博客
02-28 8500
  使用awk取某一行数据中的倒数第N列：$(NF-(n-1))比如取/etc/passwd文件中的第2列、倒数第1、倒数第2、倒数第4列（以冒号为分隔符） [root@ipsan-node06 ~]# cat /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:dae...
使用 awk for循环 和 数组 实现 去重功能：（sort 、uniq、tr 功能）
郑泽林
03-11 1979
文章目录   这个是我自己写的 全部关于 awk学习的目录导航 ，感兴趣的可以看看。             本章直接使用 awk 中的for循环 和 数组 实现 去重 and 统计 功能！         在学习之前，先来看一个知识点： 首先，我们将 变量a的值设为1，进行加法计算...
使用awk对某列去重并且可保留其他列
胡渣大叔的技术专栏
01-11 1981
同事说需要统计日志中按url的path去重之后的结果，结果中要保留参数。相同url不同参数的，只保留第一行。 理论上各种命令都是流式处理，一行一行的处理。每道命令都相当于一个过滤器。比如你要按某列去重，则事先把数据cut到只剩你需要去重的这一列。对url中的path做sort+uniq。 但是这样会导致参数都没了。所以不能用这个。 最后成功的命令如下：
常用的shell语句 【awk】去重，排列
weixin_30344995的博客
08-22 242
目的：从日志access.log中，筛选出IP来，并统计每个IP出现的次数，然后显示出来。 因为：awk= 扒IP shot=排序 uniq=去重 所以：awk '{print $1}' access.log | sort-n | uniq -c 例如： cat error.log |grep 111.111.111.111 | awk '{prin...
linux中利用awk提取文件所需列
hgz2020的博客
12-09 3084
linux中利用awk提取文件所需列
linux shell 数组 去重复,shell脚本--awk数组实现去除重复行
weixin_39766071的博客
05-13 2600
去除重复行的方法有很多，这里介绍三种。测试文本：[root@172-0-10-222 myscripts]# cat testfileandy 123456hanna 123456hello worldwelcome fuckandy 123456hello worldandy andy这其中，有andy 123456和hello world是重复的。(1)使用sort、uniq命令去除重复行[r...
shell将第1行第3列内容附加到每一行最后1例
大叶子不小的博客
05-31 232
如： #1.txt 1,0,b831e71b782a1e06e4e5f24e84680fb6,cjd_live_vl_0.0.0.0,河北,网通,11.3,20140103 2,1,116,1393832677,1393834199,1522 2,1,144,1393834575,1393835102,527 3,1,1393848426,1393851786,3360 #要求效果 1,0,b831e71b782a1e06e4e5f24e84680fb6,cjd_live_vl_0.0
【shell】awk按域去除重复行
weixin_30838873的博客
01-05 303
首先解释一下什么叫“按域去除重复行”： 有的时候我们需要去除的重复行并不是整行都重复，两行的其中一列的元素相同我们有的时候就需要认定这两行重复，因此有了今天的内容。 去除重复行shell有一个原生命令但是不太好使应为这个命令找的重复行是上下文的重复行，也就是说需要提前排序，这样就增加了不必要的麻烦，我们在这里选择使用awk工具进行重复行的去除。 命令如下： awk '!array[$0...
shell：数组的含义、awk数组用法、利用awk数组去重(十七)
cxy的博客
03-05 789
仅记录学习过程，侵删
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值