大数据管理技术 | 实习三 Hive之用户购物行为分析

实习三 Hive之用户购物行为分析

一、实验目的

本次实习目的为：利用京东和阿里的用户购物数据集，用Hive工具对用户购物行为进行常规购物数据分析。

在本次实验中，我们基于的数据为京东用户三月份的部分购物数据，以及四月份的购物数据，即JData中的JData_Action_201603_extra与JData_Action_201603。

而对于用户购物的行为，我们对不同的用户行为数据（例如用户点击量等）进行了分析，并对结果数据做出了一定的可视化处理。

二、实验过程

1.数据说明

本次实验分析了2016-3-12到2016-4-30近两个月的整体购物情况数据，实习采⽤了以下⼏个⽂件

文件名	说明
JData_Action_201603_extra.csv	获取2016-3-12到2016-3-31的⽤户⾏为
JData_Action_201604.csv	获取2016-4-1到2016-4-30的⽤户⾏为

这两个数据集包含的字段含义为：

列名称	说明	备注
user_id	用户编号	脱敏
sku_id	商品编号	脱敏
time	行为时间
model_id	点击模块编号
type	用户行为
cate	品类ID	脱敏
brand	品牌ID	脱敏

在本次报告中，我们将分析如下用户行为：

1. 用户点击量分析
2. 用户下单量分析
3. 一天中不同时段的访问量分析（时间段按小时划分）
4. 用户每种行为的日平均次数
5. 用户购买行为转化
6. 每日新增用户情况（获客分析）
7. 用户留存分析（分为日留存与三日留存）
8. 用户复购分析

同时，我们也将对商品的如下数据进行分析：

1. 商品销量排行榜
2. 商品浏览量排行榜
3. 商品种类浏览量排行榜

数据导入

create table if not exists behavior( 
    user_id int, 
    sku_id int, 
    time_ Timestamp, 
    model_id int, 
    type int, 
    cate int, 
    brand int) 
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde' WITH SERDEPROPERTIES 
    ( 
        "separatorChar"="," 
    ) 
STORED AS TEXTFILE; 

load data local inpath "JData_Action_201604.csv" into table behavior; 

select date(time_) as date1, count(*) as pv,count(distinct(user_id)) as uv 
from behavior 
where type = 6 
group by date(time_); 

select date(time_) as date1, count(*) as orders 
from behavior 
where type = 4 
group by date(time_);

2.用户行为分析

2.1 用户访问量与下单量

select data(time1) date1,count(1) pv