去除重复关键字

最新推荐文章于 2025-07-16 16:16:43 发布

原创最新推荐文章于 2025-07-16 16:16:43 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#delete

脚本库专栏收录该内容

4 篇文章

订阅专栏

本文介绍了一个Shell脚本，该脚本用于从日志文件中提取特定格式的关键词（如PG00001），并去除重复项。通过逐行读取并检查关键词是否已存在，确保最终关键词列表的唯一性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!/bin/sh
########################################
# Fuction: delete the duplicate keyworld
#          from the file
# History: xulei First release
#
########################################

KEYWORLDS=`cat log.txt | egrep --color --only-matching "PG[0-9]{5}"`
KEYFILE=/tmp/keyworld.txt

cat /dev/null > ${KEYFILE}
for i in ${KEYWORLDS}
do
        cat ${KEYFILE} | grep $i
        if [[ "$?" != "0" ]];then
        {
                echo $i >> ${KEYFILE}
        }
        fi
done