spark关联hive 报 Filesystem Close 错误

请看如下问题:

假如我想将一个sql语句插入hive表中时,比如

insert into table tmp.app_user_active_range partition (dt='2022-11-04')

报如下错误:

我的环境是pyspark,pyspark中操作hive,使用datagrip关联spark,在datagrip中进行查询没有问题,但只要insert into 就报:FileSystem Close错误,如何处理呢?

假如遇到以上这个问题,就是hdfs有问题,可以在hdfs上添加一个配置:

以上这个问题常见于以下sql语句:

insert into table aaaa
select * from   bbbb
<property>
    <name>fs.hdfs.impl.disable.cache</name>
    <value>true</value>
</property>

记得分发给其他集群节点:

xsync.sh hdfs-site.xml

然后重启hdfs:

stop-dfs.sh start-dfs.sh

重启元数据:

hive-server-manager.sh stop metastore

然后重启thrift服务:

[root@bigdata01 sbin]# stop-thriftserver.sh stop
stopping org.apache.spark.sql.hive.thriftserver.HiveThriftServer2
(base) [root@bigdata01 sbin]# history | grep start-thrift
  634  /opt/installs/spark/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10001 --hiveconf hive.server2.thrift.bind.host=bigdata01 --master yarn --conf spark.sql.shuffle.partitions=2

然后使用datagrip等第三方工具进行连接,再执行以前的sql就不抱错了。 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

闫哥大数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值