使用spark.sql导入hive数据库的内容

ILovePythonhao

于 2020-06-12 21:02:22 发布

阅读量271

点赞数

文章标签： spark sql hive

本文链接：https://blog.youkuaiyun.com/ILovePythonhao/article/details/106723517

版权

本文介绍如何在Spark中使用Scala执行SQL查询，通过关联Hive元数据来访问Hive表。具体步骤包括将hive-site.xml、core-site.xml、hdfs-site.xml复制到Spark配置目录，以及将mysql-connector-java-8.0.14.jar复制到Spark的jars目录。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

要想spark的Scala里面可以执行

import spark.sql
val orders=sql("select * from badou.orders1")

那么就需要关联hive元数据

cp ./hive-site.xml /home/hao/Pictures/spark-2.4.3-bin-hadoop2.7/conf
cp ./core-site.xml /home/hao/Pictures/spark-2.4.3-bin-hadoop2.7/conf
cp ./hdfs-site.xml /home/hao/Pictures/spark-2.4.3-bin-hadoop2.7/conf
cp ./mysql-connector-java-8.0.14.jar /home/hao/Pictures/spark-2.4.3-bin-hadoop2.7/jars