Window使用idea操作spark连接hive

最新推荐文章于 2024-07-21 13:52:38 发布
最新推荐文章于 2024-07-21 13:52:38 发布
阅读量1.6k 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： windows spark hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42263866/article/details/84561032
本文介绍了在Windows上使用IntelliJ IDEA进行Spark开发，连接Hive进行测试的过程。包括创建Maven工程、配置Scala SDK、环境变量HADOOP_HOME、引入配置文件以及解决权限和配置问题等常见错误。遇到的问题如：IDEA Scala SDK与依赖版本不一致、找不到winutils二进制、HDFS根目录权限问题、主机名不识别、Spark临时文件删除权限等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

首先说下这样做的好处，不用每次都打成jar包在集群测试，直接在本地就可以测试。

 

平台环境：hadoop 2.6.0-CDH5.7  Hive 1.1.0  Spark 1.6.0  Scala 2.11.5

项目环境：jdk 1.8  scala2.11.0

1.创建新工程

1.创建一个maven工程，不做赘述。

工程目录结构如下：

2.配置环境

1.左上角File ->Project Structure ->Modules

添加依赖环境 scala-sdk-2.11.0

2.选中刚才下的scala-sdk-2.11.0 ->Add selected 添加

回到 project structure->Apply。工程环境即可看到scala-sdk-2.11.0

最低0.47元/天 解锁文章

200万优质内容无限畅学
IDEA中使用Spark SQL远程连接Hive
ImezZ
08-30 3789
记录一下spark sql远程连接hive，进行sql操作的过程。 1、把远程端的hive-site.xml文件放在idea的resources目录下 注意这里要改成远程要访问的ip地址 2、引入mysql驱动包，因为spark sql其实是访问的是存储hive元数据的库，我的是mysql crt+alt+shift+s打开导包界面，点击“+” > Library > Java 选择mysql驱动包 如果没有mysql驱动包会报这样的错误： java.lang.Runti
spark连接hive
YK_LaNce的博客
07-16 329
spark从hive表读数据并在mysql显示 1. 配置文件 先将hive/conf下的hive-site.xml复制到spark/conf下 对照下面的hive-site.xml修改 <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="c...
IDEA Windows下Spark连接Hive
wsjslient的博客
11-21 2135
IDEA Windows下SPARK连接Hive
windows下IDEA使用spark连接hive
katyusha1的博客
05-13 980
1、前言  由于需要在本地环境连接测试集群相关的一些数据，传统方式需要先打jar包，然后再放在集群上使用spark-submit，这样非常麻烦，所以在网上找了下开发环境使用sparksql连接hive的方法，经过许久的折腾，总算弄成功了，特此记录一下。 2、准备  A、配置文件 把集群上的hadoop etc/hadoop目录下的core-site.xml hdfs-site.xml （读取hdfs上的文件必须） hive的配置文件 hive-site.xml（读取hive必须）拷贝到resource
在inteillj idea中使用Spark操作Hive
北桥苏的博客
05-06 1208
前言： 都知道，小编前面已经简单介绍过在windows下hadoop和hive环境搭建和基本使用。这次的Spark有点突兀，但是也可以先忽略，重要的是先在IDEA中安装bigData插件连接hadoop已经HDFS，而后再简单介绍使用Spark操作Hive。 Big Data Tools安装： 1. 点击File, 选择Settings，再选择Plugins搜索Big Data Tools，最后下载安装。 2. 下载完毕后，底部和右侧栏会多出Hadoop或Big Data ...
idea中通过spark访问hive
迎接小天使
02-20 913
IDEA中使用Spark SQL 连接Hive 折腾了两个小时，好久没有弄了，记录一下 一、复制hive-site.xml 复制hive-site.xml到idea工程中的resource目录下 二、在windows中安装hadoop并配置环境变量 1、解压hadoop 2、修改hadoop etc/hadoop中的 hadoop-env.cmd、mapred-env.sh、yarn-env.sh...
Kerberos安全认证-连载10-Hive Kerberos 安全配置及访问_idea连接 kerberos 认证的hiveserver2
最新发布
2401_85238540的博客
07-21 925
hiveserver2 keytab密钥文件路径hivemetastore 开启kerberos认证truemetastore kerberos主体metastore keytab密钥文件路径```以上配置分发到Hadoop各个集群节点后，将hdfs配置文件hdfs-site.xml，core-site.xml 发送到客户端和服务端HIVE_HOME/conf/目录中。​​​​​​​。
Spark远程连接Hive数据源
技术札记
05-03 3240
下载winutils.exe，放到HADOOP_HOME/bin下，模拟linux环境 scala文件 // 连接hive数据仓库 val sparkSession = SparkSession.builder().appName("HiveCaseJob").master("local[*]").enableHiveSupport().getOrCreate() spa...
windows系统下在idea中用spark访问远程hive
worldchinalee的博客
05-03 1万+
NO 步骤1安装配置jdk1.82安装配置scala2.11.183 写操作hive的demo4导入pom.xml中依赖jar5下载hadoop的binary包，我的版本是2.7.36下载winutils.exe将其放到$HADOOP_HOME/bin/目录下7在启动类的运行参数中设置环境变量，HADOOP_HOME=D:\software1\hadoop-2.7.3，=后面是hadoop的安装目...
IDEA 中使用 SparkSQL 远程连接 Hive
JIE的博客 --- moon_coder
12-01 2751
我们在 Windows 电脑中安装 Hadoop，并配置环境变量。注意，Hadoop 的版本必须和集群中的对应，你可以使用和集群一样的包，然后将压缩包解压到你想要存放的地方。变量，双击进入，然后新建两个 PATH，以指定 Hadoop 脚本路径。及其以下的版本，如果比这个版本高的可以去官网下载依赖文件。如果你使用的集群在华为云或者阿里云上，你需要先配置好集群的。注意，我在上面这个下载链接里放的依赖文件只支持。其次就是你要对你的端口进行放行，配置安全规则。进入集群中的 MySQL，授予权限。
本地IDEA中创建maven项目、spark程序远程访问hive
weixin_60492640的博客
08-11 700
spark程序远程访问hive Access denied for user 'root'@'localhost' (using password: YES) 或者无法连接数据库 mysql数据库安装不能远程登陆的，只能在本地用localhost 或者127.0.0.1登录访问，如果需要远程登录，则需要修改mysql root
idea连不上hive
m0_56495147的博客
02-05 1025
解决hive无法连接idea的问题。
本地IDEA、spark程序远程读取hive数据
Nickkun的博客
11-21 4340
描述问题 数据在linux系统服务器上，在自己windows上用IDEA编写spark程序，需要远程访问hive数据。 先说成功步骤，再说配置过程出现的的问题和解决办法 步骤 1 下载winutils github-winutils各个版本集合 下载里面和自己服务器版本对应的， 配置HADOOP_HOME 将下载的文件添加到系统环境变量，配置完最好重启系统。 2 添加hive-site.xml文件 下载服务器端的hive-site.xml文件配置 添加到src/main/resources目录下 hi
idea配置spark连外置hive问题记录
zyann95的博客
07-16 877
记录
【idea】【hive】idea连接hive
热门推荐
依旧的博客
04-28 1万+
添加一个Driver 修改名称、添加hive相关的jar包（jar包在该文章底部）、修改Class：为org.apache.hive.jdbc.HiveDriver 添加一个hive连接 URL：jdbc:hive2:ip:port hivelib下载地址：https://download.youkuaiyun.com/download/qq_44065303/12370122...
Spark——IntelliJ IDEA中Spark应用程序连接远程Hadoop集群读写Hive表数据(Scala/Python)
aof
07-03 6084
很多时候，我们在编写好Spark应用程序之后，想要读取Hive表测试一下，但又不想操作 (打jar包——>上传集群——>spark-submit) 这些步骤时，我们就可以在本地直连Hive，直接run你的Spark应用程序中的main函数即可。代码如下(版本为Spark2.0+)：   Scala版本 import org.apache.spark.sql.SparkSess...
Intellij IDEA连接Hive(CDH6.3.2)
m0_65248736的博客
06-08 1777
Intellij IDEA连接Hive(CDH6.3.2)
idea远程连接hive失败
m0_53926490的博客
11-27 1854
idea远程连接hive失败 idea拒绝连接hive
windows下idea使用spark连接hive
06-28
在Windows下使用IntelliJ IDEA连接Spark和Hive，需要进行以下步骤： 1. 安装Java和Spark：首先需要安装Java和Spark，并设置环境变量。 2. 下载Hive JDBC驱动：从Apache Hive官网下载Hive JDBC驱动，并将其添加到...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值