IDEA使用SparkSQL本地操作Hive的小Demo

在本地使用Spark操作Hive

1 、使用IDEA创建一个Maven项目

2 、从集群中拷贝出hive的配置 -> hive-site.xml

3 、从集群中拷贝出hadoop的配置core-site.xml和hdfs-site.xml （非必须，对某些版本来说只需要hive-site.xml即可，最好都拷过来）

4 、把上面三个文件放到IDEA的resources目录下

5 、编写Demo

def main(args: Array[String]): Unit = {
    Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)

val conf = new SparkConf()

conf.set("hive.exec.mode.local.auto","true")

val sparklSession = SparkSession.builder().master("local[2]")
      .appName("hivetest")
      .config(conf)
      .enableHiveSupport().getOrCreate()

sparklSession.sql("show databases").show(false)
sparklSession.sql("use databasesname")
sparklSess