window+sparksql+hive+debug sparksql本地环境搭建

最新推荐文章于 2023-06-30 15:34:27 发布

原创最新推荐文章于 2023-06-30 15:34:27 发布 · 2.4k 阅读

CC 4.0 BY-SA版权

本文详细介绍如何使用Spark连接远程Hive，包括JDK、Scala的安装配置，依赖Jar的设置，Hadoop环境变量的配置，以及如何配置SparkSession以连接远程Hive元数据存储。

	步骤1
1	deom代码
2	安装配置jdk1.8
3	安装配置scala2.11.18
4	导入pom.xml中依赖jar：注意scala版本要和spark依赖的保持一致
5	下载Hadoop的bin包,设定环境变量HADOOP_HOME，值为解压后的目录
6	下载winutils.exe将其放到$HADOOP_HOME/bin/目录下
7	配置本地host:要想知道host的地址，可以ping mysql.youkuaiyun.com #远程hive的meterstore地址 192.168.25.22 mysql.youkuaiyun.com #远程的一个节点 192.168.25.25 node01.youkuaiyun.com
8	在代码中配置hive.metastore.uris val spark = SparkSession .builder() `.master("local[2]")` .appName("Spark Hive Example") .config("hive.metastore.uris", "thrift://mysql.youkuaiyun.com:9083")//远程hive的meterstore地址 .enableHiveSupport() .getOrCreate()