shell 取出第一列相同但第二列不同的行

最新推荐文章于 2024-09-08 22:26:41 发布
原创 最新推荐文章于 2024-09-08 22:26:41 发布 · 4.6k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种利用awk命令处理文本文件中特定形式的重复项的方法。通过巧妙地使用awk的变量和条件判断，可以有效地从原始数据中筛选并保留唯一的记录。此技巧适用于需要清理数据或处理具有重复字段的数据集的场景。

需求

处理前：

  小明   234
  小方   235
  小明   234
  小明   345

处理后
小明   234

小明   345

解决方案1：

awk '!a[$1]++{s[$1]=$0;b[$1$2]++;next} a[$1]++&&!b[$1$2]++{s[$1]=s[$1]!=""?s[$1]"\n"$0:$0;print s[$1];s[$1]=""}' filename


github_zwl
关注
使用Shell脚本筛选文本：提取第二列不等于1090的行内容
笔者从事电信媒体开发多年，愿意将多年的开发经验分享给同行
12-17 255
在处理文本数据时，Shell脚本是一种强大且灵活的工具，尤其擅长处理按特定分隔符（如“|”）分割的文本文件。本文将详细介绍如何使用Shell脚本筛选第二列不等于1090的行，并输出这些行的内容。
shell中将文本文件第二列的list换成 xxx
weiliang_Handan的博客
05-30 408
shell 脚本中 awk 命令使用
shell 第一列相同 则拼接第二列
weixin_33700350的博客
06-29 2136
awk '{a[$1]=a[$1]?a[$1]FS$2:$2}END{for(i in a)print i,a[i]}' file 转载于:https://blog.51cto.com/aixuexi/912644
shell第一列相同即判断为重复，取其中一条数据
Tak-Wah Blog
11-06 818
例如 123456.txt 内容如下： 90115601,2137786735 36684 90115601,2137786735 36684 90118301,17751822 34898 90145133,2050186877 3847 90145133,2050186877 3847 90151825,3580430507 37974 90151825,3580430507 37974 90188754,2987861307 24...
linux合并第一列相同的行,linux – 合并重复的行并在最后添加“N / A...
weixin_39610724的博客
05-25 1260
{ nl -s\; -w1 -ba |sort -t\; -k2,2 |sed -e:n -e'h;$!N' \-e's/^\([^;]*\(;[^;]*;\).*\)\n[^;]*\2/\1;/;tn' \-ex -e:N \-e's/;/;/6p;tD' \-e's|$|;N/A|;tN'\-e:D -ex -eD |sort -t\; -nk1...
如何输出第二列相同的行
weixin_34315189的博客
08-28 217
文本格式如下，以“|”作为分隔符 10999201508261233197418182901054|63a96a66ba024913aa1c0d377cf95fb4||20150826|aa 10999201508261233197418182901054|63a96a66ba024913aa1c0d377cf95fb3||20150826|bb 如何输出第二列相同的行，即如果第二列...
【Shell牛客刷题系列】SHELL4 输出第5行的内容：回顾head、tail命令和sed、awk命令的使用
一起加油~
10-06 1432
本文首先复习了head、tail、sed命令的相关语法知识；然后给出五种题目解决方案，基本都是之前的题目中遇到过的知识点。
使用shell脚本取出服务器图片的方法
01-09
Ken Thompson 的 sh 是第一种 Unix Shell，Windows Explorer 是一个典型的图形界面 Shell。 一 ，SHELL 是什么 　（1）shell是一种命令行解释器。 　（2）是用户和Linux内核之间沟通的桥梁，属于中间件。见下图 　...
【Shell牛客刷题系列】SHELL2 打印文件的最后5行：优雅的解决方案~
一起加油~
10-05 1060
本文首先学习用于查看文件尾部内容的`tail`命令，然后给出三种题目解决方案，重点看一下第三种方案，两次遍历优雅的取出需要的内容，所消耗的时间和空间都是最少的！
将一个txt文件前两列数值插入另一个txt文件第一列和第二列之间
最新发布
06-17
需要用$2,$3,...，但我们可以用substr($0,length($1)+1)来获取第一个字段之后的所有内容（包括空格）#但更简单的方法：我们重新组合：$1,a[FNR],然后从$2开始一直到最后一个字段#但是注意：如果原行有多个空格，这样...
编写shell脚本将文件中重复的行删除
程序猿老樊的博客
09-08 887
使用sort+uniq/awk/sed可以来完成。 方法一：利用sort以不重复的方式打印出文件所有的行并排序-u，表示unique。sort -u file方法二：利用sort先对文件按行排好序之后再交由uniq处理。sort -k 指定列，-t指定列分隔符。sort -k 1 -t ':' file|uniq方法三：利用sort+awk来完成。sort file | awk '{if ($0!=line) print;line=$0}'if ($0!=line) print;表示当前行是否等于上一行，不
shell：命令执行结果获取指定行、指定列
热门推荐
onj123的博客
09-11 3万+
awk 1. 获取第一列 ps -aux | grep watchdog | awk '{print $1}' 2. 获取第一列，第二列，第三列 ps -aux | grep watchdog | awk '{print $1, $2, $3}' 3. 获取第一行的第一列，第二列，第三列 ps -aux | grep watchdog | awk 'NR==1{print $1, $2, $3}...
shell中的简单命令（diff，cut，sort，uniq，test命令&& 和 ||）
qq_44236589的博客
08-17 491
一、diff在比较文件过程中结果读取方式 概念 [num1 , num2][a/c/d][num3 , num4] nmu1,num2表示在第一个文件中的行数 a表示添加 —add c表示更改 —change d表示删除 —delete <表示第一个文件中的内容，>表示第二个文件中的内容， —表示分隔线 num3 ， num4表示在第二个文件中的行数 2，4c2，4表示改变第一个文件...
Shell
欢迎来到秦朝
07-01 1272
下方定义的都是本地变量name=yue# 看到什么，输出什么name='yue'# 调用变量时使用双引号# 将linux命令结果赋值给变量$()echo $time# 将linux命令结果赋值给变量``键盘esc下边那个echo $time。
shell awk、去重、排序
感谢你的关注~~~~ღ( ´･ᴗ･` )
06-03 2016
数据
shell—字符串截取和去重
水木梵华
04-13 6648
字符串截取的八种方法和去重 # 号截取 1、单#号 2、双#号截取 %号截取 1、单%号 2、双%号 : 号截取 1、左侧 2、右侧 去重 1、sort -u&nbsp; 2、uniq 3、示例 字符串截取的八种方法和去重 Note： 本文不是采用的sed剪裁方法 Note： 本文截取 # 号截取 1、单#号 单#号截取，可以删...
awk 自增行累加值
不以物喜不以己悲
12-12 5231
另外一个关于数字运算的问题，想这样求和：第一行直接输出，弟2行和弟3行数值相加，4，5, 6行相加；7,8,9,10再相加，后面则为11,12,3,14,15相加。总的说，以递增行数的形式相加，这里我列出了简单的1-10，结果直接显示和就行。 1 2 3 4 5 6 7 8 9 10 输出 1 5 15 34 即可，谢谢大家。 我的方法：awk 'fu
adb shell 判断文件第二行字符是否为空
05-25
可以使用以下命令来判断文件的第二行字符是否为空： ``` adb shell 'sed -n "2{p;q;}" file.txt | tr -d " \t\n\r" | wc -m' ``` 其中，`file.txt`是要判断的文件名。这个命令的作用是： 1. `sed -n "2{p;q;}" file.txt` 取出文件的第二行。 2. `tr -d " \t\n\r"` 将第二行中的空格、制表符和换行符删除。 3. `wc -m` 统计删除后的字符串的长度。 如果第二行字符串长度为0，则表示第二行为空。如果长度大于0，则表示第二行不为空。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值