Spark学习之Spark SQL（8）

最新推荐文章于 2024-09-08 16:38:54 发布

原创最新推荐文章于 2024-09-08 16:38:54 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #sql #数据库 #商业智能 #结构

Spark 专栏收录该内容

23 篇文章

订阅专栏

本文深入探讨了SparkSQL的功能，包括从多种结构化数据源读取数据、内部集成SQL查询和与Python/Java/Scala代码的无缝结合。详细介绍了如何在Spark程序中使用SparkSQL，包括初始化Spark环境、执行基本查询和实现用户自定义函数（UDF），并提供了实际的代码示例。

Spark学习之Spark SQL（8）

1. Spark用来操作结构化和半结构化数据的接口——Spark SQL、

2. Spark SQL的三大功能

2.1 Spark SQL可以从各种结构化数据（例如JSON、Hive、Parquet等）中读取数据。
2.2 Spark SQL不仅支持在Spark程序内使用SQL语句进行查询，也支持从类似商业智能软件Tableau这样的外部工具中通过标准数据库连接器（JDBC/ODBC）连接Spark SQL进行查询。
2.3 当在Spark程序内使用Spark SQL时，Spark SQL支持SQ与常规的Python/Java/Scala代码高度整合，包括连接RDD与SQL表、公开的自定义SQL函数接口等。

3. SchemaRDD（1.3版本后为DataFrame）是存放Row对象的RDD，每个Row对象代表一行记录。SchemaRDD还包含记录的结果信息（即数据字段）。

4. 连接Spark SQL

带有Hive支持的Spark SQL的Maven索引

    groupID =org.apache.spark
    artifactID = spark-hive_2.10
    version = 1.2.0

5. 在应用使用Spark

5.1 初始化Spark

        //Sacla中SQL的import的声明
        import org.apache.spark.sql.hive.HiveContext
        import org.apache.spark.sql.SQLContext
        //Scala中SQL导入隐式转换支持
        val hiveCtx = ...//创建HiveContext
        import hiveCtx._//导入隐式转换支持
        //创建SQL上下文环境
        val sc = new SparkContext(...)
        val hiveCtx = new HiveContext(sc)

5.2 基本的查询示例

        val input = hiveCtx.jsonFile(inputFile)
        //注册输入的SchemaRDD
        input.registerTempTable("tweets")
        //依据tetwwtCount（转发计算）宣传推文
        val topTweeter = hiveCtx.sql("SELECT text,retweetCount FROM tweets ORDER　BY retweetCount LIMIT 10")

6. 用户自定义函数(UDF)

Scala版本的字符串长度UDF

    registerFunction("strLenScala",(_:string).length)
    val tweetLength = hiveCtx.sql("SELECT strLenScala('tweet') FROM tweets LIMIT 10")