数仓环境搭建

原创已于 2022-11-13 17:12:53 修改 · 157 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hive #大数据 #spark

于 2022-08-21 16:35:12 首次发布

数仓4.0 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了在部署Hive on Spark时遇到的连接超时问题以及使用Datagrip连接Hiveserver2时的报错。针对问题一，解决方法包括编辑spark-env.sh和hive-site.xml文件，添加相应的配置。对于问题二，需要在core-site.xml中配置hadoop.proxyuser，并重启集群。按照这些步骤操作后，可以成功解决连接问题。

问题一
部署hive on spark测试时报错，建表成功，但是插入数据时报错
在这里插入图片描述
进入/tmp/cat中查看hive日志，提示timed out waiting for client connection，即表明hive和spark连接超时

解决方法：
1.将/opt/module/spark/conf/目录下spark-env.sh.template文件改成spark-env.sh，之后添加内容export SPARK_DIST_CLASSPATH=$(hadoop classpath)；
2.进入/opt/module/hive/conf目录下的hive-site.xml，加上下面的内容
在这里插入图片描述
再次执行insert操作即可成功。

问题二
使用datagrip第一次连接hiveserver2时报错，点击测试连接出现弹窗
在这里插入图片描述
解决方法
进入/opt/module/hadoop-3.1.3/etc/hadoop中，修改core-site.xml文件，添加内容

<property>
<name>hadoop.proxyuser.你的用户名.hosts</name>
<value>*</value>
</property>

<property>
<name>hadoop.proxyuser.你的用户名.groups</name>
<value>*</value>
</property>