Spark开发中遇到的问题及解决方法

1、数据来源于HDFS，处理完成后同样写回HDFS的时候，遇到了HDFS的权限问题，提交程序的用户为root ，而root对HDFS没有写权限，这时可以通过伪造程序的使用者的方法解决：

	val conf = new SparkConf().setAppName("TestLogic")
			.set("fs.default.name","hdfs://udh-cluster-4:8020"）
               	 	.setMaster("spark://udh-cluster-4:7077")
               		.set("HADOOP_USER_NAME", "hdfs")

2、使用Standalone模式提交集群的时候报错All masters are unresponsive! Giving up 时，检查程序中conf指定的master是否

跟集群上的master的地址是相同的

3、运行时出现FileSystemClose的情况时，需要在conf中指定conf..set("fs.default.name","hdfs://udh-cluster-4:8020"）

并且最后需要执行SparkContext对象的Stop()方法.