shell脚本去重的几种方法

最新推荐文章于 2025-04-10 20:10:42 发布
最新推荐文章于 2025-04-10 20:10:42 发布
阅读量5.8w 收藏 56
点赞数 15
分类专栏： 学习 Linux python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/laobai1015/article/details/91455406
版权

测试文件如下

jason
jason
jason
fffff
jason

第一种去重方法： sort -u 文件名  或者 cat 文件名 | sort -u

[root@bogon ~]# sort -u test
fffff
jason

但这样只是将去重后的结果打印在屏幕上，如果想将去重后的内容保存下来，语句为：

sort -u 文件名 > 新文件名

或者

cat 文件名 | sort -u > 新文件名

即可将去重后的内容保存在新文件名中

第二种去重方法： uniq 文件名 或者  cat 文件名 | uniq

[root@bogon ~]# uniq test
jason
fffff
jason

由此可见，uniq需要先排序后才能去重，同时将去重后的结果保存在新文件中：cat 文件名 | sort | uniq > 新文件名

第三种去重方法：sort、管道和uniq结合运用

（1）去除重复并保留一份重复的数据

[root@bogon ~]# sort test|uniq
fffff
jason

（2）

最低0.47元/天 解锁文章
shell两个文件去重的多种姿势
01-20
前言 大家都知道shell在文本处理上确有极大优势，比如多文本合并、去重等，但是最近遇到了一个难搞的问题，即两个大数据量文件去重。下面来看看详细的介绍吧。 要求  有txt文件A.txt和B.txt。 其中A为关键词和搜索量，以逗号分隔，约90万行。 B为关键词，约400万行。 需要从A中找出与B重复的关键词。 我试了N种姿势，但结果都不尽人意，最奇怪的是有些方法对小数据量的测试文件有用，一旦用在A与B上就会失败，真叫人百思不得其解。 姿势一： awk -F, '{print $1}' A >keywords.txt cat keywords.txt B.txt | sort | uniq
Shell脚本去重的几种方法实例
01-10
测试文件 代码如下: [root@bogon ~]# cat >test jason jason jason fffff jason 按 Ctr + D保存 1、sort -u 代码如下: [root@bogon ~]# sort -u test fffff jason 2、uniq 代码如下: [root@bogon ~]# uniq test jason fffff jason 由此可见，uniq需要先排序后才能去重 3、sort、管道和uniq结合运用 去除重复并保留一份重复的数据 代码如下: [root@bogon ~]# sort test|uniq fffff jason
shell删除重复行
qq_24889005的博客
03-27 4530
一、排序后去重（原行顺序打乱） sort -u test.txt 或 sort test.txt|uniq 二、保持原行间相对顺序去重 awk ‘!a[$0]++’ test.txt
Shell脚本编程
最新发布
qq_60219215的博客
04-10 1087
Shell是用户与操作系统内核之间的接口，负责解析用户输入的命令并执行。它既是一个命令行解释器，也是一种脚本语言，能够通过编写脚本实现复杂的自动化任务。默认使用Zsh（Catalina及以后版本），旧版为Bash。：批量处理文件、用户权限管理、服务监控。：编译构建、测试环境搭建、数据预处理。：Linux默认Shell，功能强大。：支持插件和主题，适合交互式使用。：日志切割、备份恢复、软件部署。：兼容Bash，适合企业级脚本。：提供类Unix环境的模拟器。：直接运行Linux环境。查看当前Shell。
shell字符串去重
What the Fuck
05-10 5021
之前写了一个脚本，里面每次执行的时候都需要给PATH叠加一个路径，这样一来，多次执行这个脚本就会造成PATH包含有重复的字段。解决方法如下： export PATH=$(echo $PATH | sed 's/:/\n/g' | sort | uniq | tr -s '\n' ':' | sed 's/:$//g') 解释： 1.使用sed将PATH中的:替换为\n，也就是每行一个字符串，...
shell文本去重
教Linux的李老师
09-13 633
shell文本去重
shell不排序去重
Challenge_C_PlusPlus的专栏
04-06 5545
awk '!a[$0]++' file 如果是第一次出现a[$0]++的值为0(假)，而!a[$0]++的值就为1(真)，之后就执行print $0 第二次或者两次以上的出现a[$0]++的值就为大于0的整数值(真)，例如1,2,3...，而!a[$0]++的值就为0(假)，之后就不执行print $0操作 awk '!($0 in a){a[
Shell脚本中管道的几种使用实例讲解
09-15
在Shell脚本编程中，管道（pipe）是一个强大的工具，它允许我们串联多个命令，将一个命令的输出作为另一个命令的输入，实现数据流的高效处理。本文将深入讲解几个使用管道的实例，帮助你更好地理解和运用这个功能。 ...
Shell中字符串排序的几种方法
09-15
在Shell脚本中，字符串排序常常与其他命令结合使用，例如`grep`（过滤）、`awk`（文本处理）和`uniq`（去重）。熟练掌握这些基础工具的组合使用，能极大地提高Shell脚本处理文本数据的能力。在实际工作中，理解并...
用几条shell命令快速去重10G数据
qq253343206的博客
06-18 437
试想一下，如果有10G数据，或者更多；怎么才能够快速地去重呢？你会说将数据导入到数据库（mysql等）进行去重，或者用java写个程序进行去重，或者用Hadoop进行处理。如果是大量的数据要写入数据库也不是一件容易的事情，首先你需要开发一个程序将数据写入数据库，然后再用数据库的select distinct或者group by进行去重。如果是一次性的工作，这种方式显得就比较笨拙了。那么有没有更好的
Shell实现文本去重并操持原有顺序
01-10
简单来说，这个技巧对应的是如下一种场景 假设有文本如下 代码如下: cccc aaaa bbbb dddd bbbb cccc aaaa 现在需要对它进行去重处理，这个很简单，sort -u就可以搞定，但是如果我希望保持文本原有的顺序，比如这里有两个aaaa，我只是希望去掉第二个aaaa，而第一个aaaa在bbbb的前面，去重后仍旧要在它前面，所以我期望的输出结果是 代码如下: cccc aaaa bbbb dddd 当然，这个问题本身并不难，用C++或python写起来都很容易，但所谓杀机焉用牛刀，能用shell命令解决时，它永远都是我们的首选。答案在最后给出，下面说说我是如何想到这样
shell去重
萧然
05-08 1536
原始文件 a b a b a b c d c d e f g h 去重后得到： a b c d e f g h
Shell--点名器脚本，实现点名去重。
热门推荐
Ranger的博客
08-20 1万+
1、创建user.txt文本文件，存储格式为：用户 密码；以这些用户为基础实现点名，下面文件存储了20个用户。 2、具体脚本如下，下面一句一句解释： #!/bin/bash user_arr=(`cat /root/100_sh/user.txt | awk '{ print $1}'`) user_res=() i=0 while [ $i -lt $1 ] do ...
shell脚本不排序去重
寻箫之音
05-04 2482
一条命令搞定： awk '!a[$0]++' file 如果是第一次出现a[$0]++的值为0(假)，而!a[$0]++的值就为1(真)，之后就执行print $0 第二次或者两次以上的出现a[$0]++的值就为大于0的整数值(真)，例如1,2,3...，而!a[$0]++的值就为0(假)，之后就不执行print $0操作
shell整理（43）====shell脚本去重
weixin_34384557的博客
10-31 204
题目：有一文档中有如下内容，写一个shell脚本实现去重，逆序也算重复。例如a b c 和 c b aa b cd e fa d c d e fc bc b ax y zx y za bz y xz xx ya d c da b ca b cabc思路：打个比方比如有一个箱子里面装着2 个红球2 个绿球2 个蓝球cc 文件有多少行就循环多少次第一个循环现在要去重，这时候我们...
shell 数组去重
12-05
在Shell脚本中，数组去重可以通过多种方法实现。以下是几种常见的方法： 1. **使用`sort`和`uniq`命令**： 这种方法适用于已经排序的数组，或者可以先对数组进行排序，然后再去重。 ```sh # 定义一个数组 array=(apple banana apple orange banana grape) # 将数组转换为字符串，使用空格分隔 array_str=$(printf "%s " "${array[@]}") # 使用sort和uniq进行排序和去重 unique_array=($(echo "$array_str" | tr ' ' '\n' | sort | uniq)) # 输出去重后的数组 echo "${unique_array[@]}" ``` 2. **使用`awk`命令**： `awk`可以用于处理文本数据，通过遍历数组并记录每个元素的出现次数来去重。 ```sh # 定义一个数组 array=(apple banana apple orange banana grape) # 使用awk进行去重 unique_array=($(printf "%s\n" "${array[@]}" | awk '!seen[$0]++')) # 输出去重后的数组 echo "${unique_array[@]}" ``` 3. **使用Bash关联数组**： Bash 4及以上版本支持关联数组，可以通过关联数组来记录每个元素的出现次数，从而实现去重。 ```sh # 定义一个数组 array=(apple banana apple orange banana grape) # 声明一个关联数组 declare -A unique # 遍历数组并记录每个元素的出现次数 for item in "${array[@]}"; do unique["$item"]=1 done # 获取去重后的元素 unique_array=("${!unique[@]}") # 输出去重后的数组 echo "${unique_array[@]}" ``` 这些方法都可以有效地对Shell数组进行去重，选择哪种方法取决于具体的需求和环境。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值