SparkSQL中读取数据和写出数据（附案例）

最新推荐文章于 2025-05-27 09:13:25 发布

原创

最新推荐文章于 2025-05-27 09:13:25 发布 · 4.1k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#spark #big data #大数据 #etl #sql

本文介绍了SparkSQL如何进行数据读取和写出。读取数据使用`spark.read.format().load()`或`spark.read.格式的名称()`，写出数据则通过`DataFrame.write.format().save()`或`DataFrame.write.保存的格式()`，提供了append、overwrite、ignore和errorifexists四种模式。文中还给出了具体的综合案例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.1 Spark 读取数据的统一入口：

spark.read.format(指定的格式).load(文件的路径)
或者spark.read.格式的名称(文件的路径)

1.2 Spark 写出数据的统一出口：

DataFrame.write.format(保存为什么格式).save(保存到哪个路径)
或者DataFrame.write.保存的格式(保存到哪个路径)

1.3 Spark 写出数据有 4 种方式：

append：如果数据源或者表已经存在，继续追加
overwrite：如果数据源已经存在，覆盖写出
ignore：如果数据源已经存在，将忽略(ignore) DataFrame中的数据，如果不存在，则创建并写出。官网的比喻是类似这条SQL语句：create table if not exists
errorifexists：如果数据源(可以理解为文件)已经存在,将抛出异常

2.1 SparkSQL读取数据的综合案例：

from pyspark.sql import SparkSession

if __name__ == '__main__':
    # 创建上下文对象
    spark = SparkSession.builder.appName('test').master('local[*]').config('spark.sql.shuffle.partiti