Spark External Data Source API

Spark 外部数据源 API操作

产生背景

•            Every Spark application starts with loading data and ends with saving data.

           每个Spark应用程序都开始于加载数据，结束于保存数据。

对用户来说：
方便快速从不同的数据源（json、parquet、rdbms），经过混合处理（json join parquet），
再将处理结果以特定的格式（json、parquet）写回到指定的系统（HDFS、S3）上

• Loading and saving Data is not easy

加载数据和保存数据不是容易的

• Parse raw data:text/json/parquet

解析数据源也不是容易的

• Convert data format transformation

转换数据格式转换

• Datasets stored in various Formats/Systems

概述

• An extension way to integrate a various of extenal data sources into Spark SQL                                                                                                                                        将各种扩展数据源集成到Spark SQL中的一种扩展方法
• Can read and write DtaFrames using a variety of formats and storage systems                                                                                                                                          可以使用多种格式和存储系统读取和写入dtaframe
• Data Sources API can automatically prune columns and push filters to the source:Parquet/JDBC                                                                                                              数据源API可以自动删除列，并将过滤器下压到数据源:parquet/jdbc
• New API introduced in1.2    在Spark1.2版本才有的

目标

• Developer（开发者）：build libraries for various data sources    为各种数据源构建库
• User（使用者）：easy loading/saving DataFrames

读：spark.read.format(format").load(path)

    format
             build-in(内置): json parquet jdbc  csv(2.x以后才内置)
              packages: 外部的 并不是spark内置   https://spark-packages.org/
写：people.write.format("parquet").save("path")