最新版Spark2.2读取多种文件格式数据

最新推荐文章于 2025-04-21 23:28:20 发布

原创

最新推荐文章于 2025-04-21 23:28:20 发布 · 4.5k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#spark #2-2-0 #数据解析 #csv #json

本文介绍了Spark2.2如何读取CSV和JSON格式的数据。CSV不仅支持标准CSV，还支持以分隔符分割的文件。对于JSON文件，虽然其半结构化特性导致文件较大，但Spark处理起来相对简单。文章提到了处理时间戳类型转换的问题，并探讨了列式存储的优势。

Spark2.0+的文件读取

Spark可以读取多种格式文件，csv，json，parque。因此对应就有很多函数与之对应。在Spark2.0以后一般使用SparkSession来操作DataFrame、Dataset来完成数据分析。这些读取不同格式文件的函数就是SparkSession的成员DataFrameReader的方法。该类就是将文件系统（HDFS，LocalFileSystem（一定要在每台机器上都有的文件，不然会找不到文件，因为不确定executor会在哪台机器上运行，如果是本地文件，运行executor机器上一定要有该文件））中的文件读取到Spark中,生成DataFrame的类。下面来看看具体的文件读取。

1.CSV

其实该方法叫CSV不是很好，因为它不止可以读CSV文件，他可以读取一类由分隔符分割数据的文件，由于这类文件中CSV是代表，所以该函数才叫CSV吧。
1.1标准CSV
csv数据
特征：有空值？表示，有表头，类型明确

"id_1","id_2","cmp_fname_c1","cmp_fname_c2","cmp_lname_c1","cmp_lname_c2","cmp_sex","cmp_bd","cmp_bm","cmp_by","cmp_plz","is_match"
41264,44629,1,?,1,?,1,1,1,1,1,TRUE
28871,41775,1,?,1,?,1,1,1,1,1,TRUE
99344,99345,1,?,1,?,1,1,1,1,1,TRUE
311