大文件的排序和去重 超级简单的实现

本文介绍了一种简单高效的实现大文件排序和去重的方法。通过将大文件分割成多个小文件,利用Linux shell内置命令进行排序和合并,有效解决了内存不足的问题。此外还提供了一种仅针对去重的思路。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

大文件的排序和去重 超级简单的实现

有一道校招生的面试题,是要给一个很大的文件(不能全部放内存,比如1T)按行来排序和去重。

一种简单解决方案就是分而治之,先打大文件分词大小均匀的若干个小文件,然后对小文件排好序,最后再Merge所有的小文件,在Merge的过程中去掉重复的内容。

在Linux下实现这个逻辑甚至不用自己写代码,只要用shell内置的一些命令: split, sort就足够了。我们把这个流程用脚本串起来,写到shell脚本文件里。文件名叫sort_uniq.sh.

复制代码

 1 #!/bin/bash
 2 lines=$(wc -l $1 | sed 's/ .*//g')
 3 lines_per_file=`expr $lines / 20`
 4 split -d -l $lines_per_file $1 __part_$1
 5 
 6 for file in __part_*
 7 do
 8 {
 9   sort $file > sort_$file
10 } &
11 done
12 wait
13 
14 sort -smu sort_* > $2
15 rm -f __part_*
16 rm -f sort_*  

复制代码

使用方法:./sort_uniq.sh file_to_be_sort file_sorted

这段代码把大文件分词20或21个小文件,后台并行排序各个小文件,最后合并结果并去重。

如果只要去重,不需要排序,还有另外一种思路:对文件的每一行计算hash值,按照hash值把该行内容放到某个小文件中,假设需要分词100个小文件,则可以按照(hash % 100)来分发文件内容,然后在小文件中实现去重就可以了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值