飘羽的博客

如添加node041 修改 /etc/hosts 文件，添加新节点的主机名和IP映射信息,命令：vi /etc/hosts172.24.240.20 namenode172.24.240.21 node01172.24.240.22 node02172.24.240.23 node03172.24.240.24 node042 更改Hadoop软件的配置信息，添加新节点信息，如下命令为： vi hadoop-2.7.2/etc/hadoop/slavesnode01n...

1、原因：是因为这两个节点相同的 datanodeUuid导致的。2、解决方法：（1）打开两个节点的VERSION文件查看：命令为：vi /home/source/gjn/datanode/current/VERSION（其中“/home/source/gjn/datanode”为在hdfs-site.xml文件中配置的HDFS的集群目录）如， <property> <name>dfs.datanode.d...

————当在集群模式下提交spark程序进行运行时，报错：java.lang.IllegalStateException: Subprocess exited with status 1. Command ran: ******************1. 首先寻找问题出现的原因：原因是基于Spark程序中调用的执行程序或命令无法正常执行的原因。2. 解决方法：由于是spark程序间接调用的程序，因此不会直接报出具体原因，只会告诉是子程序执行异常。方案一：抛开集群的运行，先后现需要.

1、查看某个job的日志，例如：yarn logs -applicationId application_1529513682598_00092、查看某个job的状态，例如：yarn application -status application_1529513682598_00093、终止某个job    注意：一般不要直接在UI界面或者是终端kill掉任务，该任务可能还会继续执行下去。正确操作...

&amp;&amp;&amp;前提是切换在Spark软件的安装目录下：local单机模式：结果xshell可见：./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[1] ./lib/spark-examples-1.3.1-hadoop2.5.2.jar 100standalone集群模式：需要的配...