报错:org.apache.hive.service.cli.HiveSQLException: Error running query: org.apache.spark.sql.AnalysisE

 如果你在spark插入数据时报如下的错误:

假如遇到以上这个问题,就是hdfs有问题,可以在hdfs上添加一个配置:

1、在hadoop中的hdfs-site.xml 下添加如下配置

<property>
    <name>fs.hdfs.impl.disable.cache</name>
    <value>true</value>
</property>

2、分发给其他集群节点:

xsync.sh hdfs-site.xml

3、然后重启hdfs:

停止:stop-dfs.sh

开启:start-dfs.sh

4、重启元数据

停止:hive-server-manager.sh stop metastore

开启:hive-server-manager.sh start metastore

5、重启thrift服务

停止:stop-thriftserver.sh stop

开启:

/opt/installs/spark/sbin/start-thriftserver.sh 
--hiveconf hive.server2.thrift.port=10001 
--hiveconf hive.server2.thrift.bind.host=bigdata01 
--master yarn 
--conf spark.sql.shuffle.partitions=2

再次插入就可以了!!!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值