weizhonggui的博客

1：问题现象： 在IDEA写好程序并打包传到hadoop001上去执行的时候，统计不成功，报如下异常： 各文件目录如下：log.sh :/home/hadoop/shell G5-Spark-1.0.jar :/home/hadoop/lib 2：处理过程 2.1依据提示找到相应问题解答： 在启用ha的集群中，DFS客户端无法预先知道在操作的时刻哪个NameNode处于活动状态。因此...

在spark on yarn 上提交任务是，报错如下： 这是Spark的一个优化点： WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. INFO yarn.Client: Uploading re...