Hive json数组转成多行

原创 已于 2022-03-18 16:18:51 修改 · 4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#json #hive

于 2022-03-18 16:17:48 首次发布
该内容涉及使用SQL对JSON格式的数据进行操作，包括提取特定字段如'id'、'status'和'jd_no'，通过split、regexp_replace和regexp_extract等函数进行数据拆分和清洗。博客着重展示了如何在复杂JSON字符串中提取信息。
部署运行你感兴趣的模型镜像

 JSON格式文件：

[{"id":"1","status":"0","jd_no":"2424234333"},{"id":"10","status":"0","jd_no":"2424114333"},{"id":"3","status":"0","jd_no":"2124234333"},{"id":"4","status":"0","jd_no":"2424231233"},{"id":"5","status":"0","jd_no":"1224234333"},{"id":"7","status":"0","jd_no":"2424231233"}]

 

 

 

select  get_json_object(j_column,'$.id') as id,
get_json_object(j_column,'$.status') as status,
get_json_object(j_column,'$.jd_no') as jd_no

from
 
(SELECT split(regexp_replace(regexp_extract(t.json_column, '(\\[)(.*?)(\\])', 2), '\\},\\{', '\\}|\\{'), '\\|') AS json_column
FROM (
    SELECT '[{"id":"1","status":"0","jd_no":"2424234333"},{"id":"10","status":"0","jd_no":"2424114333"},{"id":"3","status":"0","jd_no":"2124234333"},{"id":"4","status":"0","jd_no":"2424231233"},{"id":"5","status":"0","jd_no":"1224234333"},{"id":"7","status":"0","jd_no":"2424231233"}]' AS json_column
) t
) a
lateral view explode(json_column) b as j_column;

 

您可能感兴趣的与本文相关的镜像

ACE-Step

ACE-Step

音乐合成
ACE-Step

ACE-Step是由中国团队阶跃星辰（StepFun）与ACE Studio联手打造的开源音乐生成模型。 它拥有3.5B参数量，支持快速高质量生成、强可控性和易于拓展的特点。 最厉害的是，它可以生成多种语言的歌曲，包括但不限于中文、英文、日文等19种语言

Hive解析Json数据、Json数组数据（建议收藏）
清平乐的技术专栏
06-06 559
我们进行ETL(Extract-Transfer-Load) 过程中,某些字段是json格式，里面拼接了很多字段key和指标值value，今天讲一下用Hive SQL如何解析出来json的键值对数据。
hive json数组解析explode，json_tuple
YmeBtc的博客
09-29 6203
每天一点点，记录工作中实操可行 hive json数组解析 hive中有字段A长这个样子，想把其中的name值全部解析出来 [{"itemRateId":"73288842","name":"东北有机大米饭","rating":4,"ratingContent":""},{"itemRateId":"73288850","name":"需要餐具","rating":4,"ratingContent...
hive解析json
chimchim66的博客
04-21 3801
说明：lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一行或者多行，lateral view在把结果组合，产生一个支持别名表的虚拟表。我们进行ETL(Extract-Transfer-Load) 过程中,经常会遇到从不同数据源获取的不同格式的数据，其中某些字段就是json格式，里面拼接了很多字段。，今天讲一下如何解析出来相关数据。
hive读取json数组并转换成多行（列转行）
iilegend的博客
03-03 5445
背景：在读取hive表中某一些字段的时候，有的json字符串其中会包括数组，那么想要读取这个数组并且转换为多行该怎么操作那？ 操作： 1、数据举例： ["[{\"pet_skill_avg_level\":0,\"pet_guard_star\":0,\"pet_type\":0,\"pet_step\":0,\"pet_skill_num\":0,\"pet_adv_score\":0,\"p...
HIVE自定义函数传入JSON串，一行转多行
qq_46631404的博客
09-18 1029
创建一个UDTF函数，实现功能为 传入一个JSON字符串 {"movie": [{"movie_name": "肖申克的救赎", "MovieType": "犯罪" }, {"movie_name": "肖申克的救赎", "MovieType": "剧情" }]} 解析其中的movie_name和MovieType转换为两列多行的结果
Hive字符串数组json类型取某字段再列转行
仙道Bob的专栏
08-23 1842
hive 数组 json 列转行
hive处理json数据_Hive json数组解析 - 实现json数据的列转行
weixin_39646725的博客
12-22 1072
Hive json数组解析 - 实现json数据的列转行hive中解析json字符串常用的函数是get_json_object, 但对于数组形式存储的, 如下名字marked_json的字段:[{"id":559,"labelType":3,"labelCode":"BUMANYI","labelName":"不满意","isGrouped":1},{"id":560,"labelType":3,...
hive与presto解析json数组并拆分为多行
热门推荐
星空的风fly
09-10 1万+
1。regexp_extract 语法: regexp_extract(stringsubject, stringpattern, intindex) 返回值:string 说明： 将字符串subject按照pattern正则表达式的规则拆分，返回index指定的字符。 第一参数： 要处理的字段 第二参数: 需要匹配的正则表达式 第三个参数: 0是显示与之匹配的整个字符串 1 是显示第一个括号里面的 2 是显示第二个括号里面的字段... SELECT CO.........
Hive JSON数组炸裂
cxl_fadacai的博客
04-28 939
在Hive中，JSON数组炸裂是指将JSON数组字段拆分成独立的行，以便进行更方便的数据操作和分析。当我们需要处理包含重复信息的JSON数组时，炸裂操作可以将其展开为单独的行，使得每个元素都成为一行数据，方便我们进行进一步的处理。处理嵌套结构数据：当JSON数据中包含嵌套的JSON数组时，我们可以使用JSON数组炸裂来展开嵌套的数组，以方便进行数据处理和查询。分析日志数据：当我们从日志文件中提取JSON数组时，我们可以使用JSON数组炸裂来将数组展开为单独的行，以方便进行日志分析和统计。
hivesql解析json数组并拆分成多行
woods的博客
03-05 7199
原始数据： [{"name":"woods","app_id":"abc123"},{"name":"tiger","app_id":"def456"}] 数据存在表dev.woods_test中 需求与方法： 解析json，一行拆分成两行 select a_json from ( select split(regexp_replace(regexp_extract (json_col ,...
hive sql怎么把一个字符串类型的json数组拆分成多行数据，一行一个json
09-28
在Hive SQL中，你可以使用`split()`和`explode()`函数来实现从JSON数组中提取数据并转换成多行。假设你有一个名为`params`的列，其中包含JSON格式的数组，如示例所示： 1. 首先，替换数组中的逗号与花括号为竖线(`|...
Hive解析任务-将json的多个属性拆分成多条记录
遥望......
07-28 950
需求环境： 在hive表dwb.dwb_r_thrid_data中，data字段存放有json字符串 需要从json字符串中，解析到需要的字段：将一个json里面的属性data.loanInfo.mobile.timeScopes.D360、data.loanInfo.mobile.timeScopes.D90所包含的字段分别解析成一条记录，并且将D360、D90也作为字段timeSc...
Hive的窗口函数与行列转换函数及JSON解析函数
weixin_37536020的博客
08-17 902
hive中内置的json_tuple()函数，可以将json数据解析成普通的结构化数据表。map中每个key-value对，生成一行，key为一列，value为一列。, 收集某个字段的值，进行去重汇总，产生Array类型，即将某列数据转换成数组。生成数据项在分组中的排名，排名相等会在名次中不会留下空位。生成数据项在分组中的排名，排名相等会在名次中留下空位。行转列函数的应用：将星座和血型相同的人归类到一起。从1开始，按照顺序，生成分组内记录的序列。行转列是指多行数据转换为一个列的字段。
Hive练习题之行转列（三种解法）
weixin_43648241的博客
10-16 820
源数据 1,语文,98.0 2,数学,80.0 2,政治,78.0 5,语文,88.0 5,数学,66.0 5,政治,99.0 – 建表 create table if not exists ms (grade_id int, subject_name string, max_score double) row format delimited fields terminated by ","; –导入数据 load data local inpath "/doit16/ms.txt" into tab
hive 解析json对象的数组，并完成列传行
月下小溪
10-21 782
参考链接：https://blog.youkuaiyun.com/lfq1532632051/article/details/63262519 直接上例子，下面是我要处理的 json 数据格式 { "IP": "192.168.1.1", "appName": "sichuan_yunyingyong", "customEvent": [ { "eventName": "xx1", "du": "xx", ...
Hive 超赞的解析 Json 数组的函数
Python+大数据+数据分析+自动化+Vue组件开发
06-16 5813
大数据的 ETL(Extract-Transfer-Load) 过程的 Transfer 阶段，需要对 json 串数据进行转换“拍平”处理。亲测！超好用 Hive 内置的 json 解析函数 一文中详细介绍过 get_json_object 和 json_tuple 函数如何对 json 串进行有效解析，但美中不足的是这两个函数都无法解析 json 数组，只能解析单个 json 串。今天的分享将会介绍 Hive 中常用于 json 数组的解析函数及详细使用方法。数据准备例如：Hive中有一张 test_j
hive实现json数组拆解
阿正的博客
06-09 4527
PAYCHANNELDETAIL表中间字段acquire_type是json格式如下 Json代码 [{"payAmount":"375000","payChannelCode":"BOC"},{"payAmount":"376000","payChannelCode":"ABC"}] 下面是数据拆解操作 Sql代码 selectpay_order_id,ta...
Hive json 转array
我们的博客
08-31 5378
工作的时候遇到hive 查询拼接url的情况，发现json串里有个uri的集合，这个就麻烦了，研究一下，写出了一个builder，如下： url_builder as ( select item_id, collect_set( concat( 'http://www.google.com/', ...
hive中把数组拆分成多行
最新发布
09-12
在 Hive 中，把数组拆分成多行可以使用 `explode` 函数和 `LATERAL VIEW` 结合的方法。以下为具体介绍： ### 基本使用场景 若有一个表 `user_hobbies`，其中包含 `user_id` 和 `hobbies` 字段，`hobbies` 是一个数组类型，存储了用户的多个爱好。 ```sql -- 创建表 CREATE TABLE user_hobbies ( user_id INT, hobbies ARRAY<STRING> ); -- 插入示例数据 INSERT INTO user_hobbies VALUES (1, array('reading', 'swimming', 'running')), (2, array('painting', 'dancing')); -- 使用 explode 函数拆分 hobbies 数组 SELECT user_id, hobby FROM user_hobbies LATERAL VIEW explode(hobbies) hobby_table AS hobby; ``` 在上述代码中，`LATERAL VIEW explode(hobbies) hobby_table AS hobby` 会将 `hobbies` 数组拆分成多行，每行包含一个爱好，同时保留对应的 `user_id`。 ### 解析 JSON 数组并拆分成多行 当数据是 JSON 数组时，需要先对 JSON 进行处理。数据存在表 `dev.woods_test` 中，解析 JSON 并将一行拆分成多行的 SQL 如下： ```sql SELECT a_json FROM ( SELECT split(regexp_replace(regexp_extract (json_col ,'(\\[)(.*?)(\\])',2),'\\},\\{','\\}|\\{'),'\\|') AS a_list FROM dev.woods_test ) a LATERAL VIEW explode(a_list) a_list_tab AS a_json; ``` 这里先通过 `regexp_extract` 提取 JSON 数组内容，再使用 `regexp_replace` 替换特定字符，最后用 `split` 分割成数组，再用 `explode` 拆分成多行 [^2]。 ### 两列数组转换多行 两个列都是数组形式，且是对应关系，需要转换成多行才能按部门维度统计，示例如下： ```sql SELECT t1.*,dept_id1 AS level1_dept_id,dept_name2 AS level1_dept_name FROM ( SELECT * FROM dwd_ins_order_plan_line_info WHERE dt='2023-01-28' ) t1 LATERAL VIEW posexplode(split(order_type_department_id,',')) t AS dept_index1,dept_id1 LATERAL VIEW posexplode(split(order_type_department_name,',')) s AS dept_index2,dept_name2 WHERE dept_index1=dept_index2; ``` 这里使用 `posexplode` 函数，它不仅拆分数组，还会返回元素的位置索引，通过 `where` 子句确保两列数组元素位置对应 [^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值