Hive表中的json处理方式（附案例）

竹长大大

已于 2022-02-21 20:07:15 修改

阅读量613

点赞数 2

CC 4.0 BY-SA版权

分类专栏： # Hive 文章标签： json hive 大数据 big data etl

于 2022-02-17 11:41:51 首次发布

本文链接：https://blog.youkuaiyun.com/qq_17685725/article/details/122979883

本文详细介绍了在Hive中处理JSON数据的三种方法，包括解析、转换和存储，适用于大数据ETL流程。通过实例展示如何高效地操作JSON字段，以适应大数据环境的需求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

准备工作：

-- 目标： 处理json
-- 1 创建表
create table tb_json_test1
(
    json string
);

-- 2 加载数据
load data local inpath '/root/device.json' into table tb_json_test1;

-- 3 测试
select * from tb_json_test1;

处理方式一：

-- 4 处理json
-- 4.1 处理json 方式一
-- 格式： get_json_object(json字符串, "$.key的名称") 别名
select
    get_json_object(json, "$.device") device,
    get_json_object(json, "$.deviceType") deviceType,
    get_json_object(json, "$.signal") signal,
    get_json_object(json, "$.time") time2
from tb_json_test1;

select
    get_json_object(json, "$.device") device,
    get_json_object(json, "$.deviceType") deviceType,
    get_json_object(json, "$.signal") signal,
    get_json_object(json, "$.time") `time`
from tb_json_test1;

处理方式二：

-- 4.2 处理json 方式二
select
json_tuple(json, "device", "deviceType", "signal", "time") as (device, de

最低0.47元/天解锁文章

200万优质内容无限畅学