hive-es系列第一篇: es嵌套数据写入hive
一、背景介绍:
如上图所示,公司展示的实际控制人是使用工商投资关系,通过spark程序进行股权穿透计算后得到的结果,结果是直接写入到es的,es的结构如下图:
再拿es中的一条具体数据来看看,如下图:
可以看到es中有三个属性,分别是target_id, links,nodes,其中target_id是一个正常的string字段,links和nodes都是嵌套的json数组。
二、问题描述
因为实际控制人的数据是直接使用spark算法写入es的,后来需要用这个数据来进行一些其他逻辑的加工,所以首先
原创
2020-11-27 16:44:04 ·
1537 阅读 ·
2 评论