spark2 sql读取json文件的格式要求

本文介绍了Spark 2.x中读取JSON文件的方法及注意事项,包括如何处理带表名信息的JSON文件,并探讨了不同格式JSON文件对Spark读取的影响。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

问题导读

1.spark2 sql如何读取json文件?
2.spark2读取json格式文件有什么要求?
3.spark2是如何处理对于带有表名信息的json文件的?


spark有多个数据源,json是其中一种。那么对于json格式的数据,spark在操作的过程中,可能会遇到哪些问题?
这里首先我们需要对json格式的数据有一定的了解。
json数据有两种格式:
1.对象表示
2.数组表示
二者也有嵌套形式。
比如我们创建一个个人信息的json。

[Plain Text] 纯文本查看 复制代码

?

01
02
03
04
05
06
07
08
09
10
11
{    "people": [
        {
            "name": "aboutyun",
            "age": "4"
        },
        {
            "name": "baidu",
            "age": "5"
        }
    ]
}

上面是一个比较常见的json。信息我们大致也能看出来:people表示的是表名,后面的内容为表的内容,包含了姓名和年龄。然而我们在使用spark读取的时候却遇到点小问题。上面内容保存为文件people.json,然后上传到hdfs的跟路径,进入spark-shell,读取json文件

[Scala] 纯文本查看 复制代码

?

1
val peopleDF=spark.read.json("/people.json")


打印schema

[Bash shell] 纯文本查看 复制代码

?

1
peopleDF.printSchema


 

这时候我们看到people并不是表名,而age和name也非列明。我们通过

[Scala] 纯文本查看 复制代码

?

1
peopleDF.show

展示列名
 

也就是说我们如果带有"people"格式的信息,DataFrame就会被认为是列名。个人认为这是spark不太好的地方,应该可以改进。这里也可以自动读取为表名或则忽略,而不是默认为一个字段名称。

既然目前spark是这么做,那么我们该如何做,才能让spark正确的读取?
我们来尝试下面格式的json文件

[Plain Text] 纯文本查看 复制代码

?

01
02
03
04
05
06
07
08
09
10
[
    {
        "name": "aboutyun",
        "age": "4"
    },
    {
        "name": "baidu",
        "age": "5"
    }
]


操作是同样的方式

[Scala] 纯文本查看 复制代码

?

1
val peopleDF=spark.read.json("/people.json")


[Bash shell] 纯文本查看 复制代码

?

1
peopleDF.printSchema


 

接着我们来打印数据

[Scala] 纯文本查看 复制代码

?

1
peopleDF.show


 

这时候我们看到它能正确的显示数据了。
从上面我们看出spark对于json文件,不是什么格式都是可以的,需要做一定的修改,才能正确读取,相信以后spark会有所改进。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值