处理待分析日志中特征为中英文混现的方法

解决中文与英文混合URL编码的流量统计问题

最新推荐文章于 2022-12-04 22:36:51 发布

最新推荐文章于 2022-12-04 22:36:51 发布 · 103 阅读

本文详细探讨了如何通过不同编码方式解决网站日志中包含中文与英文混合URL时的流量统计问题，包括直接匹配、编码转换及使用uri_unescape函数等方法，并最终采用uri_unescape函数结合条件判断实现完美统计。

如：

待分析的log信息会出现：

(a)"http://fenlei.hudong.com/%E7%89%B9%E6%AD%A5%E4%B8%AD%E5%9B%BD%E5%A4%A7%E5%AD%A6%E7%94%9F5%E4%BA%BA%E5%88%B6%E8%B6%B3%E7%90%83%E8%81%94%E8%B5%9B/";

和

(b)"http://fenlei.hudong.com/特步中国大学生5人制足球联赛/"

待匹配的特征信息为："http://fenlei.hudong.com/特步中国大学生5人制足球联赛/"

这两项怎么改变编码方式能正确的统计到流量信息呢？

1、开始使用如下方法：

将待匹配的特征的utf8编码写出来与log信息来匹配：

my $fl1 = "http://fenlei.hudong.com/%E7%89%B9%E6%AD%A5%E4%B8%AD%E5%9B%BD%E5%A4%A7%E5%AD%A6%E7%94%9F5%E4%BA%BA%E5%88%B6%E8%B6%B3%E7%90%83%E8%81%94%E8%B5%9B/";
my $fl2 = "http://fenlei.hudong.com/%E7%89%B9%E6%AD%A5/";
my $fl3 = "http://fenlei.hudong.com/%E7%89%B9%E6%AD%A5%E5%8D%81%E5%B9%B4/";
if($ref eq $fl1 || $ref eq $fl2 || $ref eq $fl3){
	$fenleiInfo{$ref}++;
	$totalpv++;
}

这种弊端是，log信息中出现的情况(b)将漏掉统计。

2、后来想到是编码问题，然后改用下面的方法

my $fl1= "http://fenlei.hudong.com/特步中国大学生5人制足球联赛/";
my $fl2= "http://fenlei.hudong.com/特步/";
my $fl3= "http://fenlei.hudong.com/特步十年/";
$ref = decode('utf8',$ref);
if($ref eq $fl1 || $ref eq $fl2 || $ref eq $fl3){
	$fenleiInfo{$ref}++;
	$totalpv++;
}

这种弊端是，log信息中出现的情况(a)将漏掉统计。

3、看来以上两种方法都无法完美的解决这种中英文混合出现的情况，于是想到了使用方法：uri_unescape。

于是问题解决了，得到了以上1、2的结果之和。

use URI::Escape;
my $fl1= "http://fenlei.hudong.com/特步中国大学生5人制足球联赛/";
my $fl2= "http://fenlei.hudong.com/特步/";
my $fl3= "http://fenlei.hudong.com/特步十年/";
my $ref1 = "";
if($ref =~ /http:\/\/fenlei.hudong.com\//){
	$ref1 = uri_unescape($ref);#decode('utf8',$ref);
	$ref1 = decode('utf8',$ref1);
}
if($ref1 eq $fl1 || $ref1 eq $fl2 || $ref1 eq $fl3){
	$fenleiInfo{$ref1}++;
	$totalpv++;
}