本文介绍了一种使用awk命令处理邮件数据的方法，包括去除重复项、数据散列、按收件人分组及将数据切分为小块等操作。这些技巧对于进行批量邮件处理或数据分析非常有用。
1+收件人唯一：awk -F, '{if($2!=second) print;second=$2}' notsns_other_mails.txt
2+投诉去重：awk -F, 'NR==FNR{list[$1]=$1}NR>FNR{if(!($1 in list))print $0}' delete.list notsns_other_mails.txt
3+数据散列: awk 'BEGIN{srand()}{b[rand()NR]=$0}END{for(x in b)print b[x]}' notsns_other_mails.txt
4+数据分块：awk -F, 'NR==FNR{list[$1]=$1}NR>FNR{if(!($1 in list))print $0}' delete.list notsns_other_mails.txt | awk '{print $0 > "tmp"int(NR/4)}'
扫一扫
4470
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
