Spark读写Hive

最新推荐文章于 2024-08-04 00:33:27 发布

原创最新推荐文章于 2024-08-04 00:33:27 发布 · 271 阅读

0 ·

CC 4.0 BY-SA版权

Spark 同时被 2 个专栏收录

22 篇文章

订阅专栏

Hive

14 篇文章

订阅专栏

博客介绍了使用Spark进行Hive读写的方法。将Hive的hive - site.xml导入到spark/conf下，确保MySQL关联的HIVE数据库可通，无需安装Hive校验。启动spark - shell时要--jars导入mysql驱动包，启动后用spark.sql(\相关的Hive执行语句\).show操作Hive。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

有了Spark以后，我们可以在Spark-shell的界面以及 Spark-sql的界面进行我们Hive的读写，我们只需要将Hive的hive-site.xml导入到spark/conf下即可，因为Hive的元数据是储存在MySQL上的，所以我们只需要确保MySQL关联的HIVE数据库是可通的即可，无需安装Hive来进行校验。

hive-site.xml需要的内容

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  
<configuration>  
       
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>  
    </property>  
       
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
   <value>com.mysql.jdbc.Driver</value>  
</property>  
       
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
   <value>root</value>  
</property>  
       
  <property>  
      <name>javax.jdo.option.ConnectionPassword</name>  
      <value>root</value>  
   </property>  
</configuration>

启动spark-shell是，记得要--jars导入mysql驱动包

启动后只需spark.sql("相关的Hive执行语句").show即可操作Hive了