使用spark.sql导入hive数据库的内容

最新推荐文章于 2024-06-19 15:43:28 发布

原创最新推荐文章于 2024-06-19 15:43:28 发布 · 288 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #sql #hive

本文介绍如何在Spark中使用Scala执行SQL查询，通过关联Hive元数据来访问Hive表。具体步骤包括将hive-site.xml、core-site.xml、hdfs-site.xml复制到Spark配置目录，以及将mysql-connector-java-8.0.14.jar复制到Spark的jars目录。

要想spark的Scala里面可以执行

import spark.sql
val orders=sql("select * from badou.orders1")

那么就需要关联hive元数据

cp ./hive-site.xml /home/hao/Pictures/spark-2.4.3-bin-hadoop2.7/conf
cp ./core-site.xml /home/hao/Pictures/spark-2.4.3-bin-hadoop2.7/conf
cp ./hdfs-site.xml /home/hao/Pictures/spark-2.4.3-bin-hadoop2.7/conf
cp ./mysql-connector-java-8.0.14.jar /home/hao/Pictures/spark-2.4.3-bin-hadoop2.7/jars