Linux文本使用uniq去重

在 Linux 中，可以使用 uniq 命令对文本进行去重操作。uniq 命令可以检测并删除文本文件中相邻的重复行，并输出结果到标准输出。

以下是使用 uniq 命令进行文本去重的示例：

# 从文件中读取数据并去重
$ uniq file.txt

# 将数据通过管道传递给 uniq 命令
$ cat file.txt | uniq

# 去重后将结果保存到文件
$ uniq file.txt output.txt

需要注意的是，uniq 命令默认是基于行进行去重，因此如果需要基于其他条件进行去重，例如某一列的值，可以使用 sort 命令进行排序，然后再使用 uniq 命令进行去重。例如：

# 假设数据文件格式如下
# name, age
# John, 25
# Mary, 30
# John, 25

# 基于第一列（name）进行去重
$ cat file.txt | sort -u -t, -k1,1

# 基于第二列（age）进行去重
$ cat file.txt | sort -u -t, -k2,2

其中，sort 命令中的 -u 选项表示去重，-t 选项指定分隔符，-k 选项指定排序的列。