Hive上传json格式的文件
今天在做hive数据处理时发现数据为json格式,觉得直接上传到hive数据库的方式不是很好。
- 首先去下载jar包
http://www.congiu.net/hive-json-serde/
- 安装jar包:先进入hive环境
- 输入下列指令(其中路径为你自己的jar包路径):
add jar /home/ubuntu/Desktop/json-serde-1.3.7-jar-with-dependencies.jar;
- 数据源json格式为:
{"name":"小轩","temp":36.1,"time":"2020-7-20 17:43"}
- 然后去创建hive表
CREATE TABLE data1 (name string,temp double,time string) ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' STORED AS TEXTFILE;
- 这样json格式的数据库就创建好了,把json文件上传上去就行了,上传指令:
load data in path 'data.json' into table data;
- 查看表数据
select * from data