spark读取mongodb并解决循环嵌套array的拆分，属性不存在整个对象丢失问题。

最新推荐文章于 2024-09-18 14:29:04 发布

nanata1115

最新推荐文章于 2024-09-18 14:29:04 发布

阅读量1.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： mongodb 文章标签： mongodb spark

本文链接：https://blog.youkuaiyun.com/GJLNANATA/article/details/81292977

本文介绍了如何使用Spark从MongoDB读取数据，特别是处理循环嵌套的数组以及在遇到属性不存在时避免丢失整个对象的方法。通过创建SQLContext，拼接连接字符串，设置连接条件，读取数据，以及遍历schema进行数据拆分来解决这些问题。

1、创建SQLContext

SQLContext sqlContext = new SQLContext(sc)

2、拼接mongodb连接字符串

if(UserName!=null && !"".equals(UserName)){
            if(PassWord!=null && !"".equals(PassWord)){
                url="mongodb://"+UserName+":"+PassWord+"@"+IP+":"+Port+"/"+DataBase+"."+Table;
            }else{
                url="mongodb://"+IP+":"+Port+"/"+DataBase+"."+Table;
            }
        }else{
            url="mongodb://"+IP+":"+Port+</