shell统计去重文件的行数和groupby

GroupBy

“\t” 表示文件的分割符号
“$1” 表示选取文件的列数 ,index从1开头

cat cate_counts.txt | awk -F "\t" '{print $1}'| sort -n | uniq -c | sort -n -r

统计去重后的文件行数

cat cate_counts.txt | awk -F "\t" '{print $1}'| sort -n | uniq -c | sort -n -r| wc -l