hive 建分区表

最新推荐文章于 2024-04-22 09:30:00 发布

qingyu24

最新推荐文章于 2024-04-22 09:30:00 发布

阅读量162

点赞数

CC 4.0 BY-SA版权

分类专栏：数据分析文章标签： hive

本文链接：https://blog.youkuaiyun.com/weixin_40244593/article/details/83030478

数据分析专栏收录该内容

11 篇文章

订阅专栏

本文介绍如何使用Hive SQL创建一个用于存储用户通讯录信息的分区表，并详细展示了设置Hive参数、定义字段和分区的方法。此外，还提供了将此表与Elasticsearch集成的步骤，包括指定存储处理器、节点信息和资源映射。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SET mapreduce.job.queuename=yjy;
SET hive.cli.print.header=TRUE;
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;

use dm_userimage;

create table dm_userimage.f_userimage_phonelist (
    phone string comment '通讯录电话',
    user_id string comment '用户编号',
    name string comment '通讯录姓名',
    phone_province string comment '电话归属地省',写博客
    phone_city string comment '电话归属地市'
)
partitioned by (etl_date date)
row format delimited fields terminated by '\t'
stored as textfile;

如要添加到Es添加下两行 * 部分根据自己需要修改

STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler'
TBLPROPERTIES('es.nodes'='10.100.*.*','es.port'='9200','es.resource' = 'phb_d_cmc/*','es.net.http.auth.user'='*','es.net.http.auth.pass'='*','es.mapping.id'='telno');