如果你在spark插入数据时报如下的错误:
假如遇到以上这个问题,就是hdfs有问题,可以在hdfs上添加一个配置:
1、在hadoop中的hdfs-site.xml 下添加如下配置:
<property>
<name>fs.hdfs.impl.disable.cache</name>
<value>true</value>
</property>
2、分发给其他集群节点:
xsync.sh hdfs-site.xml
3、然后重启hdfs:
停止:stop-dfs.sh
开启:start-dfs.sh
4、重启元数据
停止:hive-server-manager.sh stop metastore
开启:hive-server-manager.sh start metastore
5、重启thrift服务:
停止:stop-thriftserver.sh stop
开启:
/opt/installs/spark/sbin/start-thriftserver.sh
--hiveconf hive.server2.thrift.port=10001
--hiveconf hive.server2.thrift.bind.host=bigdata01
--master yarn
--conf spark.sql.shuffle.partitions=2
再次插入就可以了!!!