linux求两个文件的交集，并集，差集

对单个文件去重，对两个文件取交集，取并集，取差集都用cat命令

 

对file去重

cat data1.txt | sort | uniq 

uniq只能对相邻的重复行去重，所以要先排序

 

删除两个文件的交集，将file1和file2中其余的行保存在file3

file1中非交集的行，file2中非交集的行，都会保存在file3

如果file2是file1的子集，那就会将file1中不含file2的行保存到file3
cat file1 file2 | sort | uniq -u > file3

  

取出两个文件的并集(重复的行只保留一份)
cat file1 file2 | sort | uniq > file3

 

取出两个文件的交集
cat file1 file2 | sort | uniq -d > file3

 

从file1中将 (file1，file2) 的公共行去掉

1.求交集

cat file1 file2 | sort | uniq -d > intersection.out

2.从file1中去除交集

cat file1 intersection.out | sort | uniq -u > file1-ineter.out