大文件sort

最新推荐文章于 2022-10-10 11:16:58 发布

转载最新推荐文章于 2022-10-10 11:16:58 发布 · 179 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/lovejoy/blog/70465

文章标签：

#python

2019独角兽企业重金招聘Python工程师标准>>>

先对文件按行split

split -l 100000000 file #以一亿行分割，每行10个字符的文件，大约800M

然后sort

#!/bin/sh
for file in `ls x*`
do 
        sort $file -T /home/xxx > $file.sort 
##重点在这的-T设置tmp参数，sort是会写缓存文件的工具，不会
##一次性读取文件到内存，所以内存大小无所谓，但是默认会写系统区，可能造成系统区空间不够
##所以找个比较大的地方放
done
sort -m `ls *.sort` > result

其实直接sort也是可以的，有-T就行了对付上G的文件没问题，会跑满cpu但是内存占用只有0.几

sort之后的文件可以直接uniq，uniq的速度是极其快的，一亿行的文件sort需时40分钟，uniq只需不到2分钟

转载于:https://my.oschina.net/lovejoy/blog/70465