Linux去重统计排序命令（sort,uniq,awk,wc）

（1）sort 排序，去重

sort -t ','  -k 1,1 -u

  1. -t 指定分隔符，-k为指定起始终止的列数

  2. -u 默认为相邻行去重，-u为全局去重

（2）uniq 去重

uniq -u filename

  1. -u 默认为相邻行去重，-u为全局去重

  2. -c 去重复，并计算每行出现的次数

  3. -n 输出行号

  4. -d 只显示重复的行

（3）awk 

awk '!a[$0]++' filename

（4）wc 统计

wc -c filename

  1. -c 统计字节

  2. -l 统计行数

  3. -m 统计字符

  4. -c 统计字节

  5. -w 统计单词

  6. -L 打印最长行的长度