HIVE JSON解析

最新推荐文章于 2024-07-16 15:56:27 发布

原创

最新推荐文章于 2024-07-16 15:56:27 发布 · 515 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hive #json #big data

本文介绍了如何在Hive中解析JSON数据，包括使用get_json_object函数获取指定路径的内容，json_tuple函数获取多个键的值，以及自定义UDF解析复杂JSON的方法。示例展示了从JSON字符串中提取'name'和'age'字段，并讨论了Hive内部使用的JSONObject和JSONArray进行解析的思路。

{"name":"zhangsan","age":"22","timeStamp":"978300760","id":"1"}{"name":"lisi","age":"21","timeStamp":"978300790","id":"2"}{"name":"wangwu","age":"22","timeStamp":"978300780","id":"3"}

1、使用函数get_json_object(string json_string, string path)返回值：String说明：解析json的字符串json_string，返回path指定的内容。如果输入的json字符串无效，那么返回NUll，函数每次只能返回一个数据项。hive (default)> select get_json_object('{"name":"zhangsan","age":"22","timeStamp":"978300760","id":"1"}','$.name');OK_c0zhangsanTime taken: 0.176 seconds, Fetched: 1 row(s)hive (default)> create database test;OKTime taken: 0.045 secondshive (default)> use test;OKTime taken: 0.021 secondshive (test)> create table json(data string);OKTime taken: 0.084 secondshive (test)> load data local inpath '/opt/module/hive/stu_json.txt' into table json; Loading data to table test.jsonTable test.json stats: [numFiles=1, totalSize=187]OKTime taken: 0.296 secondshive (test)> select * from json;OKjson.data{"nam