使用hive和sqoop来实现统计24小时每个时段的PV和UV

最新推荐文章于 2022-11-14 11:05:45 发布

weixin_40652340

最新推荐文章于 2022-11-14 11:05:45 发布

阅读量3.2k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/weixin_40652340/article/details/78678113

本文介绍了如何利用Hive进行分区表操作，统计24小时内每个时段的页面浏览量（PV）和独立访客数（UV）。通过创建数据库和表，加载数据，使用动态分区进行数据清洗，最后用Sqoop将结果导出到MySQL。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

【案例】使用hive和sqoop来实现网站基本指标，PV和UV
1、PV统计网页浏览总量
2、UV去重
-》【需求】统计24小时每个时段的PV和UV
-》建分区表，按天一级，按小时一级，多级分区
-》第一步分析需求
-》第二步获取时间字段，天，小时
-》对于时间格式进行数据清洗，比如：2015-08-28 18:10:00，从中获取日期和小时
-》获取需要有用的字段：id、url、guid、trackTime
-》第三步数据分析
-》使用select sql
-》第四步使用sqoop导出

-》预期结果
日期小时 PV UV

建库：
create database track_log2;

建表：源表
create table yhd_source2(
id string,
url string,
referer string,
keyword string,
type string,
guid string,
pageId string,
moduleId string,
linkId string,
attachedInfo string,
sessionId string,
trackerU string,
trackerType string,
ip string,
trackerSrc string,
cookie &n