用uniq除去重复行

重复行通常不会造成问题，但是有时候它们的确会引起问题。此时，不必花上一个下午的时间来为它们编制过滤器，uniq 命令便是唾手可得的好工具。
了解一下它是如何节省您的时间和精力的。进行排序之后，您会发现有些行是重复的。有时候该重复信息是不需要的，可以将它除去以节省磁盘空间。不必对文本行进行排序，但是您应当记住 uniq 在读取行时会对它们进行比较并将只除去两个或更多的连续行。

下面的示例说明了它实际上是如何工作的：
清单 1. 用 uniq 除去重复行

$ cat happybirthday.txt
Happy Birthday to You!
Happy Birthday to You!
Happy Birthday Dear Tux!
Happy Birthday to You!
$ sort happybirthday.txt
Happy Birthday Dear Tux!
Happy Birthday to You!
Happy Birthday to You!
Happy Birthday to You!
$ sort happybirthday.txt | uniq
Happy Birthday Dear Tux!
Happy Birthday to You!

有关 uniq 的更多信息,请打开新的终端窗口并输入 man uniq 或 info uniq ，或者打开新的浏览器窗口并查看
位于 gnu.org 的 uniq 手册页，那么就可以了解更多的相关信息。

清单2. 使用 -u 和 -d 选项
$ sort happybirthday.txt | uniq -u
Happy Birthday Dear Tux!
$ sort happybirthday.txt | uniq -d
Happy Birthday to You!
您还可以用 -c 选项从 uniq 中获取一些统计信息：
清单 3. 使用 -c 选项
$ sort happybirthday.txt | uniq -uc
1 Happy Birthday Dear Tux!
$ sort happybirthday.txt | uniq -dc
3 Happy Birthday to You!

就算 uniq 对完整的行进行比较，它仍然会很有用，但是那并非该命令的全部功能。
特别方便的是：使用 -f 选项，后面跟着要跳过的字段数，它能够跳过给定数目的字段。当您查看系统日志时这非常有用。通常，某些项要被复制许多次，这使得查看日志很难。使用简单的 uniq 无法完成任务，因为每一项都以不同的时间戳记开头。但是如果您告诉它跳过所有的时间字段，您的日志一下子就会变得更加便于管理。试一试 uniq -f 3 /var/log/messages ，亲眼看看。
还有另一个选项 -s ，它的功能就像 -f 一样，但是跳过给定数目的字符。您可以一起使用 -f 和 -s 。
uniq 先跳过字段，再跳过字符。
如果您只想使用一些预先设置的字符进行比较，那么该怎么办呢？试试看 -w 选项。

uniq --help 也可以查看相关参数使用帮助
[@more@]

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/23682146/viewspace-1055759/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/23682146/viewspace-1055759/