SparkSQL-JSON数据集

最新推荐文章于 2024-06-01 08:55:53 发布

Anbang713

最新推荐文章于 2024-06-01 08:55:53 发布

阅读量470

点赞数

大数据/Spark/Spark SQL 专栏收录该内容

12 篇文章

订阅专栏

本文介绍如何使用SparkSQL自动解析JSON数据集的schema，并将其作为Dataset<Row>加载。文章展示了通过SparkSession.read.json()方法处理JSON文件的具体步骤，并提供了创建临时视图和执行SQL查询的示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark SQL能自动解析JSON数据集的schema，并将其作为 Dataset<Row> 加载。这个转换可以在 Dataset<String> 上使用 SparkSession.read.json() 来完成或 JSON 文件。

需要注意的是，这里的JSON文件不是常规的 JSON 文件，JSON文件的每行必须包含一个独立的、自满足有效的JSON 对象。有关更多信息，请参阅 JSON Lines text format, also called newline-delimited JSON

对于常规的多行JSON文件，需要将 multiLine 选项设置为 true。

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;

// A JSON dataset is pointed to by path.
// The path can be either a single text file or a directory storing text files
Dataset<Row> people = spark.read().json("examples/src/main/resources/people.json");

// The inferred schema can be visualized using the printSchema() method
people.printSchema();
// root
//  |-- age: long (nullable = true)
//  |-- name: string (nullable = true)

// Creates a temporary view using the DataFrame
people.createOrReplaceTempView("people");

// SQL statements can be run by using the sql methods provided by spark
Dataset<Row> namesDF = spark.sql("SELECT name FROM people WHERE age BETWEEN 13 AND 19");
namesDF.show();
// +------+
// |  name|
// +------+
// |Justin|
// +------+

// Alternatively, a DataFrame can be created for a JSON dataset represented by
// a Dataset<String> storing one JSON object per string.
List<String> jsonData = Arrays.asList(
        "{\"name\":\"Yin\",\"address\":{\"city\":\"Columbus\",\"state\":\"Ohio\"}}");
Dataset<String> anotherPeopleDataset = spark.createDataset(jsonData, Encoders.STRING());
Dataset<Row> anotherPeople = spark.read().json(anotherPeopleDataset);
anotherPeople.show();
// +---------------+----+
// |        address|name|
// +---------------+----+
// |[Columbus,Ohio]| Yin|
// +---------------+----+