加载mongo数据到hive

最新推荐文章于 2022-08-19 14:23:01 发布

jamie956

最新推荐文章于 2022-08-19 14:23:01 发布

阅读量112

点赞数

CC 4.0 BY-SA版权

文章标签： hdfs 大数据 hive

本文链接：https://blog.youkuaiyun.com/qq_25817753/article/details/115017844

本文介绍如何使用mongoexport将MongoDB数据导出为JSON格式，并通过Hive SQL语句创建表及加载数据的过程。具体步骤包括定义导出字段、创建Hive表、加载JSON文件至Hive表及通过get_json_object函数解析JSON数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#以json格式导出mongo 数据
mongoexport -h hadoop102:27017 -d mydb -c mycoll -f "name,title,value" --type=json -o ./test.json

#创建表
CREATE TABLE t1
(line STRING) 
ROW FORMAT DELIMITED 
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

#加载（复制）文件到表的路径下
load data local inpath '/opt/module/data/test.json' into table t1;

#创建表，字段对应json 的各个key
create table t2
(
name string,
title string,
value string
)
STORED AS TEXTFILE;

#插入数据
insert overwrite table t2
select
get_json_object(line,'$.name') name,
get_json_object(line,'$.title') title,
get_json_object(line,'$.value') value
from t1;