IDEA使用SparkSQL本地操作Hive的小Demo

原创

已于 2024-01-23 18:39:22 修改 · 1.7k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#spark #spark on hive #IDEA

于 2019-04-10 21:16:59 首次发布

在本地使用Spark操作Hive

1 、使用IDEA创建一个Maven项目

2 、从集群中拷贝出hive的配置 -> hive-site.xml

3 、从集群中拷贝出hadoop的配置core-site.xml和hdfs-site.xml （非必须，对某些版本来说只需要hive-site.xml即可，最好都拷过来）

4 、把上面三个文件放到IDEA的resources目录下

文件存放目录

5 、编写Demo

def main(args: Array[String]): Unit = {
    Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)

val conf = new SparkConf()

conf.set("hive.exec.mode.local.auto","true")

val sparklSession = SparkSession.builder().master("local[2]")
      .appName("hivetest")
      .config(conf)
      .enableHiveSupport().getOrCreate()

sparklSession.sql("show databases").show(false)
sparklSession.sql("use databasesname")
sparklSess