Spark SQL External DataSource

简介：
  随着Spark1.2的发布，Spark SQL开始正式支持外部数据源。Spark SQL开放了一系列接入外部数据源的接口，来让开发者可以实现。

  这使得Spark SQL支持了更多的类型数据源，如json, parquet, avro, csv格式。只要我们愿意，我们可以开发出任意的外部数据源来连接到Spark SQL。之前大家说的支持HBASE，Cassandra都可以用外部数据源的方式来实现无缝集成。

引入：
在没有DF/DS时Core，SQL，Streaming，MLlib等框架的数据通过rdd共享         
Core，SQL，Streaming，MLlib等框架 ==> RDD ==> （现在）DataFrame/Dataset 打通整个Spark生态栈的利器                
如json、csv、hdfs、hive、jdbc、s3、parquet、es、redis、cassandra、hbase.......都可以转化为DF/DS处理
以上数据对于Spark来说分为两大类：build-in、3th-party
build-in：不需要加载什么，可以直接使用。如：json、parquet...
3th-party：需要加载第三方的包，辅助网站：https://spark-packages.org/

DF外部数据源的两大好处：
read and write

示例：
                                   build-in              3th-party
spark.read.format("csv/json/com.ruoze.com.XXX").load()
df.write.format("").save()    

dept : hive/sparksql
emp  : mysql
读MySQL中emp表的数据：
val empDF = spark.read.format("jdbc")
.options(Map(
"url"->"jdbc:mysql://ruozehadoop000:3306/sqoop?user=root&password=123456",
"dbtable"->"emp",
"driver"->"com.mysql.jdbc.Driver")).load()
读hive/sparksql中dept表的数据：
val deptDF = spark.table("dept")

即可通过DateFrame直接操作dept和emp表

读取MySQL中emp表数据并创建为临时表emp_mysql
CREATE TEMPORARY TABLE emp_mysql
USING org.apache.spark.sql.jdbc
OPTIONS (
  url "jdbc:mysql://ruozehadoop000:3306/sqoop?user=root&password=123456",
  dbtable "emp",
  driver "com.mysql.jdbc.Driver"
)

将empDF的数据写到MySQL中：
empDF.write.mode("overwrite").format("jdbc")
.option("url", "jdbc:mysql://ruozehadoop000:3306/sqoop?user=root&password=123456")
.option("dbtable", "test_emp").option("user", "root")
.option("password", "123456")
.option("driver","com.mysql.jdbc.Driver").save() 
    
PPD介绍：

abstract class BaseRelation <== 定义外部数据源数据的schema信息

trait RelationProvider <== 产生BaseRelation 的 Relation

trait TableScan //对应图第一行的方式  <== 思考：如何更有效的读取外部数据源的数据
  def buildScan(): RDD[Row]

trait PrunedScan {//对应图第二行的方式 <== 只读取需要的列，数据量小了很多
  def buildScan(requiredColumns: Array[String]): RDD[Row]
}  

trait PrunedFilteredScan {//对应图第三行的方式 <== 将计算提前，减少网络传输的数据
  def buildScan(requiredColumns: Array[String], filters: Array[Filter]): RDD[Row]
}  
  
trait InsertableRelation {//有这个接口才能把数据写回去
  def insert(data: DataFrame, overwrite: Boolean): Unit
}    
 

Catalog API：

DataSet 和Dataframe API 支持结构化数据分析，而结构化数据重要的是管理metadata。这里的metadata包括temporary metadata（临时表）；registered udfs；permanent metadata（Hive metadata或HCatalog）。

早期Spark版本并未提供标准的API访问metadata，开发者需要使用类似show tables的查询来查询metadata；而Spark 2.0 在Spark SQL中提供标准API 调用catalog来访问metadata。

访问Catalog

建立SparkSession，然后调用Catalog：

 val catalog = sparkSession.catalog

查询数据库

 catalog.listDatabases().select("name").show()

listDatabases可查询所有数据库。在Hive中，Catalog可以访问Hive metadata中的数据库。listDatabases返回一个dataset，所以你可以使用适用于dataset的所有操作去处理metadata。

用createTempView 注册Dataframe

早期版本Spark用registerTempTable注册dataframe，而Spark 2.0 用createTempView替代。

 df.createTempView("sales")

一旦注册视图，即可使用listTables访问所有表。

查询表

 catalog.listTables().select("name").show()

检查表缓存

通过Catalog可检查表是否缓存。访问频繁的表缓存起来是非常有用的。

 catalog.isCached("sales")

默认表是不缓存的，所以你会得到false。

 df.cache()

catalog.isCached("sales")

现在将会打印true。

删除视图

 catalog.dropTempView("sales")

查询注册函数

 catalog.listFunctions().

select("name","description","className","isTemporary").show(100)

Catalog不仅能查询表，也可以访问UDF。上面代码会显示Spark Session中所有的注册函数（包括内建函数）。