shell根据文件某个字段排序，根据某个字段去重

最新推荐文章于 2025-02-24 21:30:00 发布

原创最新推荐文章于 2025-02-24 21:30:00 发布 · 727 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#排序算法 #linux #算法

linux 专栏收录该内容

6 篇文章

订阅专栏

本文介绍如何使用Shell脚本实现文件内容的排序与去重操作。通过具体实例展示了使用sort命令进行排序的方法，并提供了利用Bash脚本按指定字段去重的详细步骤。

shell根据文件某个字段排序，根据某个字段去重

[root@fd9c6c8d74d5 /]# cat filename
tom 1234 shell
xiaolixi 345 edit
ggg 1234 jjjj
view 345 session
love 567 you

根据文件某个字段排序，使用sort

[root@fd9c6c8d74d5 /]# cat filename|sort -k 3
xiaolixi 345 edit
ggg 1234 jjjj
view 345 session
tom 1234 shell
love 567 you

根据某个字段去重关联组数

unset key_map
declare -A key_map

while read -r line
do
	key=$(echo ${line} | cut -d ' ' -f 2)
	key_map[${key}]=${line}
done < filename

#列出所有键值对
echo -n "" > filename.out
for key in ${!key_map[@]}
do
    echo "${key_map[$key]}" >> filename.out
done
cat filename.out
[root@fd9c6c8d74d5 /]# cat filename.out
ggg 1234 jjjj
love 567 you
view 345 session