数仓环境搭建

本文介绍了在部署Hive on Spark时遇到的连接超时问题以及使用Datagrip连接Hiveserver2时的报错。针对问题一,解决方法包括编辑spark-env.sh和hive-site.xml文件,添加相应的配置。对于问题二,需要在core-site.xml中配置hadoop.proxyuser,并重启集群。按照这些步骤操作后,可以成功解决连接问题。

问题一
部署hive on spark测试时报错,建表成功,但是插入数据时报错
在这里插入图片描述
进入/tmp/cat中查看hive日志,提示timed out waiting for client connection,即表明hive和spark连接超时

解决方法:
1.将/opt/module/spark/conf/目录下spark-env.sh.template文件改成spark-env.sh,之后添加内容export SPARK_DIST_CLASSPATH=$(hadoop classpath);
2.进入/opt/module/hive/conf目录下的hive-site.xml,加上下面的内容
在这里插入图片描述
再次执行insert操作即可成功。

问题二
使用datagrip第一次连接hiveserver2时报错,点击测试连接出现弹窗
在这里插入图片描述
解决方法
进入/opt/module/hadoop-3.1.3/etc/hadoop中,修改core-site.xml文件,添加内容

<property>
<name>hadoop.proxyuser.你的用户名.hosts</name>
<value>*</value>
</property>

<property>
<name>hadoop.proxyuser.你的用户名.groups</name>
<value>*</value>
</property>

然后cluster.sh stop,cluster.sh start重启集群,再输入命令hiveserver2,运行起来之后,进入datagrip进行连接。

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值