linux去掉文件重复行

linux去掉文件重复行

在统计某些数据的时候，文件中往往存在一些重复的行，那如何去掉这些重复的行呢？

用强大的awk可以轻松实现文件内容行去重。

awk '!a[$0]++' 文件

例如文件 123.txt 的内容是

1

1

2

2

3

3

awk '!a[$0]++' 123.txt

将会输出

1

2

3

 

=======================

统计重复行

sort i_match_09_20131029.dat | uniq -dc