hadoop 计算 pv uv

最新推荐文章于 2021-06-06 13:07:28 发布

架构师思考实践

最新推荐文章于 2021-06-06 13:07:28 发布

阅读量3.2k

点赞数 1

分类专栏： Hadoop学习与使用文章标签： hadoop uv计算

本文链接：https://blog.youkuaiyun.com/smile0198/article/details/42834005

版权

Hadoop学习与使用专栏收录该内容

45 篇文章

订阅专栏

使用hadoop 进行页面的pv uv 计算

不推荐的做法

将访问者的cookie放在hashmap中进行去重计算uv，因为当访问量大时，会将hashmap撑爆，报出

java.lang.OutOfMemoryError: Java heap space

推荐做法：

使用textpair 将cookie作为second key 进行排序，在reduce中进行判断，如果上一个cookie和当前cookie不同则uv计数器加1

reduce 部分代码：

public void reduce(TextPair key, Iterable<Text> values, Context context)
 throws IOException, InterruptedException {
  Iterator<Text> it = values.iterator();

  Long pv_wap =0L;
  Long uv_wap=0L;
 
  String tempvalue="";
  String cookie_id="";
  String last_wap_cookie="";
  while (it.hasNext()) {
   it.next();
   cookie_id = key.getSecond().toString();
    pv_wap++;
    if(!cookie_id.equals(last_wap_cookie)){
     uv_wap++;
     last_wap_cookie=cookie_id;
    }
    }