[Spark基础]-- Spark sql使用(编程和 cli)

什么是Spark sql?

分布式的SQL查询引擎，官方测试结果比 Hive sql 快 100倍；从 Spark-2.2.0版本起，提供了基于代价的优化器。

spark sql 怎样使用？

1、使用编程方式

举例：https://spark.apache.org/docs/2.2.0/sql-programming-guide.html#getting-started

2、使用命令行

可以理解为 spark-submit 提交 spark任务，但是又新增了 hive 命令行执行 sql 的方式。

举例：

(1)在spark cli 上运行

spark-sql --master yarn 

(2)运行 包含sql 的文件

spark-sql   -f sql.txt --master yarn  

(3)运行 包含 sql 的命令

 spark-sql -e "show databases" --master yarn

spark-sql