在linux系统下统计文件中重复数据，并去重简写。

1.使用uniq命令去重
（1）cat a.txt ｜sort｜uniq -d >> b.txt

将数据排序，把重复数据筛选出来，重定向到另一个文件

（2）cat a.txt b.txt ｜sort ｜uniq -u >> c.txt
俩个文件做交集，将去重后文件定向到c.txt

2.使用awk命令去重
（1）awk命令在shell中是比较强大了
cat a.txt ｜awk -F ‘,’ ‘!a[$1,$2]++’ >> b.txt
将第一列和第二列为一个独立的数据以数组形式去重，取反将去重结果重定向到b.txt

3.还有一种就是通过shell脚本做遍历循环处理，个人觉得没必要，个人理念用最简单的方式处理最复杂的问题，这种处理方式效率太慢，如果非要便利，建议python枚举试试。

4.将数据导入数据库，俩表关联根据条件导出数据为dat文件