shell+awk获取一文件第三列数据并去重

最新推荐文章于 2022-12-09 12:08:09 发布

原创最新推荐文章于 2022-12-09 12:08:09 发布 · 1.3w 阅读

3 ·

CC 4.0 BY-SA版权

本文介绍了一种从日志文件中提取特定字段并进行排序及去重的数据处理方法。通过使用awk命令筛选日志文件中的第三列数据，再利用sort和uniq命令进行数值排序与重复项去除，实现了高效的数据预处理。

awk '{ print $3 }' ws.log > temp.log

sort -n temp.log | uniq

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

a936676463

关注关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Linux-Shell-awk&指定列去重

The One

09-20

1万+

zgrep -a PlayerEnterInfo Audit_2016-08-02.tgz|awk -F, '{ar[$7]=$0}; END{for (i in ar) print ar[i];}' #$7为指定的列数， ar[]是awk中的队列#!/bin/bash # coding=utf-8 # auth Lee at 20160120Date=`date +%F -d '-1 da

【Shell牛客刷题系列】SHELL17 将字段逆序输出文件的每行：巩固awk命令与学习反向列示文件内容的tac命令

一起加油~

10-19

991

本文首先学习了反向列示文件内容的命令：tac，这个命令与cat功能相反；然后结合之前所学习的命令，给出了四种题目的解决方案。

参与评论您还未登录，请先登录后发表或查看评论

shell：命令执行结果获取指定行、指定列

热门推荐

onj123的博客

09-11

3万+

awk 1. 获取第一列 ps -aux | grep watchdog | awk '{print $1}' 2. 获取第一列，第二列，第三列 ps -aux | grep watchdog | awk '{print $1, $2, $3}' 3. 获取第一行的第一列，第二列，第三列 ps -aux | grep watchdog | awk 'NR==1{print $1, $2, $3}...

linux的shell脚本

xmdxcsj的专栏

02-17

956

基础正则表达式（以私房菜书为模板）一．grep命令主要用于查找文件中包含特定字符的行 1. grep ‘test’ file.txt 查找file.txt文件中包含“test”的行 2. grep -n -A3 –B2 ‘test’ 查找file.txt文件中包含“test”的行，将所在行的前两行（B2）和后三行（A3）一起找出来。 -A表示after，后续几行；-

shell awk、去重、排序

感谢你的关注~~~~ღ( ´･ᴗ･` )

06-03

2021

数据

awk 中简单的去重方法

slow is fast

11-25

1138

一个简单的去重方法： awk '!($1 in a){a[$1];print $1}' 同样达到效果的 sort $1 | uniq

shell两个文件去重的多种姿势

09-15

本文将详细介绍如何使用shell来解决两个文件的去重问题，这在数据分析、日志处理或关键词挖掘等场景中非常实用。首先，我们需要理解问题背景：有两个文件，A.txt 和 B.txt。A.txt 包含关键词和搜索量，由逗号分隔...

awk如何把一个文件按第三列去重并统计重复个数最后按倒叙排列

09-10

这样，awk就可以将文件按照第三列去重并统计重复个数，最终按照重复个数的倒序排列输出。 ### 回答3：使用awk命令可以很方便地实现按第三列去重并统计重复个数，然后按照倒叙排列的操作。首先，我们可以使用awk...

Linux shell命令统计某列去重后的值

09-15

本文主要介绍如何使用 Linux Shell 命令来实现对文本文件中某列数据进行去重并统计的过程。具体应用场景为：根据 MAC 地址获取其对应的硬件版本和软件版本，并基于硬件版本对 MAC 地址的数量进行统计。 #### 需求...

【Shell牛客刷题系列】SHELL10 第二列是否有重复：复习sort命令和uniq命令~

一起加油~

10-12

817

本文主要涉及的命令是sort命令和uniq命令，这两个命令是上一题已经讲过的，其余的命令，像awk命令和grep命令都是在以前讲过的基础上的应用。本文结合前面讲过的相关知识给出了两种题目的解决方案。

linux awk重定向,awk之重定向

weixin_39534208的博客

05-14

648

1.输出重定向将awk的输出重定向到unix/linux文件时，会使用shell的重定向操作符，重定向的目标文件名必须用双引号括起来，如果使用的重定向操作符为>。则文件被打开并清空。文件一旦打开，就会保持打开状态直至显示关闭或awk程序结束，此后print语句的输出都将追加到文件的尾部。符号>>也用于打开文件，但是不清除文件内容，只向文件追加内容awk '$4 >=70{p...

awk筛选出第一列为指定条件的第三列内容

gglddu的专栏

05-18

802

应用场景：docker删除名为<none>的镜像，命令如下： docker images | awk '$1~/none/{print $3}'

使用 awk for循环和数组实现去重功能：（sort 、uniq、tr 功能）

郑泽林

03-11

2031

文章目录这个是我自己写的全部关于 awk学习的目录导航，感兴趣的可以看看。本章直接使用 awk 中的for循环和数组实现去重 and 统计功能！在学习之前，先来看一个知识点：首先，我们将变量a的值设为1，进行加法计算...

使用awk对某列去重并且可保留其他列

胡渣大叔的技术专栏

01-11

2014

同事说需要统计日志中按url的path去重之后的结果，结果中要保留参数。相同url不同参数的，只保留第一行。理论上各种命令都是流式处理，一行一行的处理。每道命令都相当于一个过滤器。比如你要按某列去重，则事先把数据cut到只剩你需要去重的这一列。对url中的path做sort+uniq。但是这样会导致参数都没了。所以不能用这个。最后成功的命令如下：

常用的shell语句【awk】去重，排列

weixin_30344995的博客

08-22

262

目的：从日志access.log中，筛选出IP来，并统计每个IP出现的次数，然后显示出来。因为：awk= 扒IP shot=排序 uniq=去重所以：awk '{print $1}' access.log | sort-n | uniq -c 例如： cat error.log |grep 111.111.111.111 | awk '{prin...

linux中利用awk提取文件所需列

hgz2020的博客

12-09

3138

linux中利用awk提取文件所需列

linux shell 数组去重复,shell脚本--awk数组实现去除重复行

weixin_39766071的博客

05-13

2631

去除重复行的方法有很多，这里介绍三种。测试文本：[root@172-0-10-222 myscripts]# cat testfileandy 123456hanna 123456hello worldwelcome fuckandy 123456hello worldandy andy这其中，有andy 123456和hello world是重复的。(1)使用sort、uniq命令去除重复行[r...

shell将第1行第3列内容附加到每一行最后1例

大叶子不小的博客

05-31

248

如： #1.txt 1,0,b831e71b782a1e06e4e5f24e84680fb6,cjd_live_vl_0.0.0.0,河北,网通,11.3,20140103 2,1,116,1393832677,1393834199,1522 2,1,144,1393834575,1393835102,527 3,1,1393848426,1393851786,3360 #要求效果 1,0,b831e71b782a1e06e4e5f24e84680fb6,cjd_live_vl_0.0

【shell】awk按域去除重复行

weixin_30838873的博客

01-05

329

首先解释一下什么叫“按域去除重复行”：有的时候我们需要去除的重复行并不是整行都重复，两行的其中一列的元素相同我们有的时候就需要认定这两行重复，因此有了今天的内容。去除重复行shell有一个原生命令但是不太好使应为这个命令找的重复行是上下文的重复行，也就是说需要提前排序，这样就增加了不必要的麻烦，我们在这里选择使用awk工具进行重复行的去除。命令如下： awk '!array[$0...