Spark SQL的使用

目录

一、Spark SQL

1、spark sql的特点

2、spark sql概述

3、SparkSQL核心编程

新的起点

DataFrame

二、部分sql语句的使用

1、where语句

 2、case语句

 3、rlike方法

4、select方法

 三、Spark SQL 读取MySQL数据库

1、在Centos7安装MySQL5.7

2、写一个sql文件，导入到MySQL数据库中

2、写一个Spark SQL程序读取表 

 3、程序运行可能出现的错误

---

一、Spark SQL

1、spark sql的特点

• 引入SchemaRDD，使得RDD带有Schema模式信息。Spark1.3以后，SchemaRDD被DataFrame替换，DataFrame提供更多易于使用的API

• 可以执行SQL语句

• 支持多种数据源。RDD、Hive、HDFS、Cassandra等

• 支持JSON、Parquet、CSV等格式数据

• 支持Scala、Java、Python等语言

2、spark sql概述

Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。
它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！

3、SparkSQL核心编程

• 新的起点

        SparkCore中，如果想要执行应用程序，首先需要构建上下文环境对象SparkContext。SparkSQL可以理解为是对SparkCore的封装。不仅是在模型上进行了封装，上下文环境对象也进行了封装。在老的版本中，SparkSQL提供了两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询。

        SparkSession是Spark最新的SQL查询起始点，实质上是SQLContext和HiveContext的组合，所以在SQLContext和HiveContext上可用的API在SparkSession上同样是可以使用的。Spark Session 内部封装了 SparkContext，所以计算实际上是由 sparkContext 完成的。当我们使用 spark-shell 的时候， spark 框架会自动的创建一个名称叫做 spark 的SparkSession 对 象, 就像我们以前可以自动获取到一个 sc 来表示 SparkContext 对象一样。

• DataFrame

        在 Spark SQL 中 SparkSession 是创建 DataFrame 和执行 SQL 的入口，创建 DataFrame有三种方式：通过 Spark 的数据源进行创建；从一个存在的 RDD 进行转换；还可以从 Hive Table 进行查询返回。

二、部分sql语句的使用

1、where语句

筛选星期二的数据

public static void main(String[] args) {
        SparkSession ss = SparkSession.builder()
                //设置任务名称
                .appName("app2")
                .master("local")
                .config("spark.driver.host", "localhost")
                //设置master
                .getOrCreate();
        Dataset<Row> weather=ss.read().json("D:\\spark\\spark期末作业\\weather.json");

        //筛选出星期二的数据

        Dataset<Row> whereRes =weather.where("week='星期二'");
        whereRes.show();

    }

 2、case语句