spark解析复杂json，json内结构为主表嵌套多个从表，每个从表中又嵌套表，嵌套层级有的在5次以上。Array嵌套Array、每条json的字段数量不一定。。。。

枪枪枪

已于 2022-02-17 15:41:33 修改

阅读量1.1k

点赞数

分类专栏： Spark Scala 文章标签： spark json big data

于 2022-02-16 15:52:25 首次发布

本文链接：https://blog.youkuaiyun.com/az9996/article/details/122959714

版权

35 篇文章

订阅专栏

23 篇文章

订阅专栏

在这里插入图片描述
这个json字符串很长，结构也很复杂，手工构造struct的话不太现实

一开始按如下的方式对数据进行解析
zip文件–》RDD–〉spark.read.json(dataRDD)–〉DataFrame

通过spark.sql(
…
,key1.key2.key3
,…)

可以取到[key1.key2.key3]下的值

但是这个方法有个缺点，对于Array类型的节点，只能取一次，无法循环获取Array内的所有元素

于是准备借助其它json包对RDD内的jsonString进行解析，然后对Array类型的节点进行遍历

scala内置的json处理包
这个包内的解析方法可能没有继承serialization，无法在闭包环境下调用
RDD.map(x=>{
…
})
spark在分发计算任务到executer上时无法序列化对象

此外，用这个包的话，scala语法写起来很不清晰，看这有些绕，在遍历Array类型节点内的元素时写起来很不方便，不如下面fastJson用起来方便

<dependency>
     <groupId>com.alibaba</groupId>
     <artifactId>fastjson</artifactId>
     <version>1.2.47</version>
 </dependency>

阿里出品的json处理包
可以在map内调用

RDD.map(x=>{
…
})

对Array类型的节点：jsonParseObject.getJSONArray

对于其它类型的节点：