文件内容去重并计数：bash中的sort与uniq -c
【免费下载链接】bash-guide A guide to learn bash 
项目地址: https://gitcode.com/gh_mirrors/ba/bash-guide
你是否还在为日志分析时重复数据太多而烦恼？或者需要快速统计某个关键词在文件中出现的次数？本文将通过实际案例，教你如何用bash中的sort与uniq -c命令组合，轻松实现文件内容去重并计数，让数据处理效率提升10倍！读完本文你将掌握：基础去重计数流程、进阶排序技巧、实战案例分析以及常见问题解决方案。
基础去重计数流程
在bash中，实现文件内容去重并计数的核心在于sort和uniq -c的组合使用。uniq命令用于报告或忽略文件中的重复行，但它只能检测相邻的重复行，因此需要先使用sort命令对文件内容进行排序，使重复行相邻。
核心命令组合
sort example.txt | uniq -c
这条命令的工作流程如下：
- sort命令对example.txt文件内容进行排序
- 排序后的结果通过管道（|）传递给uniq -c
- uniq -c对相邻的重复行进行计数并输出
命令参数解析
| 命令 | 参数 | 功能描述 |
|---|---|---|
| sort | 无 | 对输入内容进行默认升序排序 |
| uniq | -c | 对相邻重复行进行计数，前缀显示出现次数 |
基础示例
假设我们有一个文件example.txt，内容如下：
apple
banana
apple
orange
banana
grape
执行上述命令后，输出结果为：
2 apple
2 banana
1 grape
1 orange
这表明"apple"和"banana"各出现2次，"grape"和"orange"各出现1次。
进阶排序技巧
基础命令组合已经能满足简单的去重计数需求，但在实际应用中，我们可能还需要对结果进行排序，以便更好地分析数据。
结果排序
可以在uniq -c之后再添加sort命令，对计数结果进行排序：
sort example.txt | uniq -c | sort -nr
这里的sort -nr表示按数字降序排序，n表示按数值排序，r表示逆序（降序）。
对上例执行该命令后，输出结果为：
2 banana
2 apple
1 orange
1 grape
忽略大小写排序
如果需要忽略大小写进行排序，可以使用sort -f参数：
sort -f example.txt | uniq -c
该命令会将"Apple"和"apple"视为相同内容进行处理。
实战案例分析
日志文件分析
假设我们有一个Web服务器访问日志access.log，需要统计每个IP地址的访问次数：
cat access.log | awk '{print $1}' | sort | uniq -c | sort -nr | head -10
这条命令组合的功能分解：
- awk '{print $1}'：提取日志中的IP地址（假设IP在每行的第一个字段）
- sort：对IP地址进行排序
- uniq -c：统计每个IP的访问次数
- sort -nr：按访问次数降序排序
- head -10：显示访问次数最多的前10个IP
数组去重应用
在bash脚本中，我们也可以利用类似的思路对数组进行去重。项目中的array_uniq_demo.sh展示了使用关联数组实现去重的方法：
# 原始数组包含重复元素
original_array=(apple banana apple orange banana grape)
echo "原始数组: ${original_array[@]}"
# 使用关联数组(Associative Array)去重
declare -A unique_map
for item in "${original_array[@]}"; do
unique_map["$item"]=1 # 利用键唯一性自动去重
done
# 提取关联数组的键作为去重后的数组
unique_array=(${!unique_map[@]})
echo "去重后数组: ${unique_array[@]}"
常见问题解决方案
处理大文件性能问题
当处理几GB的大文件时，简单的sort可能会消耗大量内存。可以使用sort的临时文件选项：
sort --buffer-size=1G --temporary-directory=/tmp example.txt | uniq -c
--buffer-size指定排序使用的内存大小，--temporary-directory指定临时文件存放位置。
忽略特定字符或字段
如果需要忽略某些字符或字段进行去重，可以结合cut命令使用：
cut -d',' -f2 data.csv | sort | uniq -c
该命令提取CSV文件的第2列进行去重计数。
总结与展望
sort与uniq -c的组合是bash中处理文本去重计数的强大工具，掌握它们可以极大提升数据处理效率。项目的README.md中还介绍了更多文本处理命令，如awk、sed等，结合这些工具可以实现更复杂的文本处理任务。
下一篇我们将介绍如何使用awk进行高级数据统计分析，敬请关注！如果你觉得本文对你有帮助，请点赞、收藏、关注三连支持！
【免费下载链接】bash-guide A guide to learn bash 项目地址: https://gitcode.com/gh_mirrors/ba/bash-guide
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
