【大数据学习】之 用spark-sql和spark-shell操作hive里面的表数据

SparkSQL与Hive的交互有两种方式，一种是spark-sql,另一种是spark-shell。要注意，访问hive前要把$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf，还有必须要启动hdfs，因为hive的数据是存放在hdfs上的，既然要访问hive所以需要启动hdfs。

一、启动spark-sql连hive 
1、首先要配置spark-defaults.conf，

添加spark.executor.extraClassPath和spark.driver.extraClassPath，这两个同时指向我们存放JDBC驱动jar包的路径

如下图：
 
2、启动spark-sql,
 
看启动日志是4041端口，在浏览器看看    UI界面，http://hadoop001:4041/jobs/ ，也成功启动了。