perl去除重复行和排序

最新推荐文章于 2021-12-02 14:37:14 发布

原创最新推荐文章于 2021-12-02 14:37:14 发布 · 2.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#perl #hash

perl 专栏收录该内容

23 篇文章

订阅专栏

本文介绍了一个使用Perl编写的脚本，该脚本用于处理指定的文本文件，并从中筛选出包含特定条件（如中文字符）的数据行。脚本首先打开指定的参考文件，然后逐行读取并存储这些行到数组中。接下来，脚本创建了一个哈希表来存储每行数据，并通过遍历数组将每行的内容存入哈希表。最后，脚本会筛选出包含中文字符的行，并将其写入新的输出文件。

my($ref,$rec) = @ARGV;

if($#ARGV < 0 )
{
print "usage:perl count_rate.pl $ref\n";
exit(-1);
}

#open(frec, "$rec") or die "can not open $rec\n";
open(fref, "$ref") or die "2\n";

open(fkey,">ref_key_$rec.txt") or die "4\n";

$refline2;
$reffer2;
%ref_hash;
$key;
@refarray = ();

@refarray = <fref>;

@refarray2=();

for my $refline2 (@refarray)
{
chomp($refline2);
$ref_hash{$refline2}=$refline2;
}
foreach $key ( sort keys %ref_hash) #sort起到根据关键词排序的功能
{
chomp($key);
#print ("key is $key\n");
if($key=~/[\x80-\xFF]+?/) #如果含有中文字符，可以不要
{
push @refarray2, $key ;
print ( fkey "$key\n");
}

}

close(fref);

close(fkey);