sort与uniq,wc使用

 

 

sort  排序  -u 去除重复的行   -r降序（默认升序）  重定向输入文件 

      -n 按照数字排序 

      -t选项按照什么字符来分割    -k选项:分割后取第几个字段排序 

      -f 忽略大小写 

      -b 忽略前面的空白符，从第一个可见的字符比较 

 

 

测试数据：

    

google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500
xiaomi 10 20
huawei 20 33

 

 

数据按照空格分割后取第二列 按照数字升序排列 

sort -n -t ' ' -k 2 b.txt

 

 

uniq 对连续相同的数据去重和统计 （一般先排序在统计，这样相同的就到一起了 ）

    uniq命令不加任何参数，仅显示连续重复的行一次

   -c 行首显示本行出现的重复次数

   -d 只显示重复的 

   -u  只显示不重复的行

 

 wc 统计文件中数据：

     -l 统计行数。 

  -L 打印最长行的长度。

 如：下面是对文件fs_sort.txt排序去重后统计重复数据的行数

  cat fs_sort.txt| sort | uniq -d | wc -l

 

查看两个文件相同的行和不同的行的数据：

  

 两个文件中相同的行：
  grep -Ff  222.txt 111.txt

两个文件中不同的行：
     grep -vFf  222.txt 111.txt