Hive实战下

最新推荐文章于 2024-04-23 07:00:00 发布

阿誠的数据杂货铺

最新推荐文章于 2024-04-23 07:00:00 发布

阅读量459

点赞数

CC 4.0 BY-SA版权

分类专栏： Hive

本文链接：https://blog.youkuaiyun.com/JasonChen3318/article/details/90576512

本文介绍了如何在Hive中进行Bucket操作，创建了带有Bucket的rating_table_b，并展示了如何插入数据。接着详细讲解了UDF（UpperCase.java）的创建和使用，以及UDAF和UDTF的应用。同时，通过实例展示了使用transform功能处理数据，包括awk和python实现的udtf，并进行了词频统计的案例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

实践一：Bucket
数据集：create_rating_table_b.sql(创建bucket)

create external table rating_table_b
(userId INT,
movieId STRING,
rating STRING
)
clustered by (userId) into 32 buckets;

创建userid movieid, rating三个字段
clustered by (userid) into 32buckets ：按userid做32个分库，用userid除32取模，定位到reduce
创表：

hive  -f  create_rating_table_b.sql

查看数据表：

hive> show tables;
OK
movie_table
rating_table
rating_table_b
rating_table_p
Time taken: 0.042 seconds, Fetched: 4 row(s)


hive> desc  rating_table_b;
OK
userid                  int                                         
movieid                 string                                      
rating                  string                                      
Time taken: 0.133 seconds, Fetched: 3 row(s)


hive> desc  formatted  rating_table_b;
OK
# col_name              data_type               comment             
                 
userid                  int                                         
movieid                 string                                      
rating                  string                                      
                 
# Detailed Table Information             
Database:               default                  
Owner:                  root                     
CreateTime:             Sun May 26 15:29:30 CST 2019     
LastAccessTime:         UNKNOWN                  
Protect Mode:           None                     
Retention:              0                        
Location:               hdfs://master:9000/user/hive/warehouse/rating_table_b    
Table Type:             EXTERNAL_TABLE           
Table Parameters:                
        EXTERNAL                TRUE                
        transient_lastDdlTime   1558855770