本文介绍了Spark在处理外部数据源的应用，从多种数据源（json、parquet、RDBMS）读取数据，进行复杂处理后，再以特定格式（json、parquet）写回至指定系统（HDFS、S3）。自Spark1.2版本起，引入了外部数据源API，支持内置格式（json、parquet、jdbc、csv）及自定义数据源。
External Data产生背景
在之前的案例中，每一个Spark Application都是以加载数据开始，经过一系列处理，然后把结果展示到控制台中。
在生产环境中我们往往需要把数据存储到外部系统中如HBase、mysql等。
同时，我们也希望能从不同的数据源（json、parquet、RDBMS）经过混合处理（json join parquet），然后将处理结果以特定的格式（json、parquet）写回到指定的系统中（HDFS、S3）上去。
因此在Spark1.2之后引入了外部数据源API。
Spark内置的导入数据格式
我们通常使用spark.read.format(format)方式来导入数据，内置的导入格式包括：json、parquet、jdbc，在spark2.x版本之后，支持了csv格式。
此外我们可以自定义packages外部的数据源。
Spark导出数据
people.write.format("parquet").save("path")
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
