SparkSQL-liunx系统Spark连接Hive

目录

先来到spark312的jar包存放目录中：

复制jar包到该目录:

来到conf目录：

 把hive312/conf中的hive-site.xml复制到spark312/conf目录下：

 修改hive-site.xml文件：下面是里面的所有配置

配置完成，开始测试：

先启动hadoop：

启动hive的RunJar服务：

jps查看启动的服务：

登录hive：

查看默认库default以及表的名字：

 开启spark-shell：

---

spark连接hive我们需要六个关键的jar包，以及将hive的配置文件hive-site.xml拷贝到spark的conf目录下。如果你hive配置没问题的话，这些jar都在hive的目录中。

先来到spark312的jar包存放目录中：

[root@gree2 /]# cd opt/soft/spark312/jars/

复制jar包到该目录:

[root@gree2 jars]# cp /opt/soft/hive312/lib/hive-beeline-3.1.2.jar ./
[root@gree2 jars]# cp /opt/soft/hive312/lib/hive-cli-3.1.2.jar ./
[root@gree2 jars]# cp /opt/soft/hive312/lib/hive-exec-3.1.2.jar ./
[root@gree2 jars]# cp /opt/soft/hive312/lib/hive-jdbc-3.1.2.jar ./
[root@gree2 jars]# cp /opt/soft/hive312/lib/hive-metastore-3.1.2.jar ./
[root@gree2 jars]# cp /opt/soft/hive312/lib/mysql-connector-java-8.0.29.jar ./

来到conf目录：

[root@gree2 /]# cd opt/soft/spark312/conf/

 把hive312/conf中的hive-site.xml复制到spark312/conf目录下：

[root@gree2 conf]# cp /opt/soft/hive312/conf/hive-site.xml ./

 修改hive-site.xml文件：下面是里面的所有配置

<configuration>
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/opt/soft/hive312/warehouse</value>
  </property>
  <prop