HIVE简单实战

最新推荐文章于 2022-04-06 13:51:47 发布

5xh

最新推荐文章于 2022-04-06 13:51:47 发布

阅读量453

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/qq_37283909/article/details/88769558

本文介绍了使用Hive进行大数据分析的实战案例，详细步骤包括：从MySQL导入数据到Hive，创建城市和产品信息表，关联表并统计各区域产品点击次数，使用窗口函数找出每个区域的Top 3热门产品，最后通过Sqoop将结果导出到MySQL。同时，文章提及了离线处理的调度和数据倾斜的处理问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求：统计各个城市所属区域下最受欢迎的Top 3产品

数据准备：
mysql：
city_info : 城市信息表
在这里插入图片描述
product_info: 产品信息表

hive：
user_click：用户行为点击日志表

create table user_click(
user_id int,
session_id string,
action_time string,
city_id int,
product_id int
) partitioned by (day string)
row format delimited fields terminated by ',';

一、在hive中创建city_info,product_info

create table city_info(
city_id int,
city_name string,
area string
)row format delimited fields terminated by '\t';

create table product_info(
product_id int,
product_name string,
extend_info string
)row format d