Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: use...

最新推荐文章于 2023-09-05 15:17:50 发布

weixin_30633405

最新推荐文章于 2023-09-05 15:17:50 发布

阅读量219

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/nulijiushimeili/p/9787207.html

本文探讨了在Window系统上编程遇到的Hadoop权限问题，具体表现为无法在HDFS上写入数据。文章提供了详细的解决方案，包括修改HDFS目录权限以允许写入，并展示了如何使用Spark进行WordCount操作并将结果保存回HDFS。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在window上编程提示没有写Hadoop的权限

Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=Mypc, access=WRITE, inode="/":fan:supergroup:drwxr-xr-x

          曾经踩过的坑： 保存结果到hdfs上没有写的权限
*         通过修改权限将文件写入到指定的目录下
*         
*         $HADOOP_HOME/bin/hdfs dfs -mkdir /output
*         $HADOOP_HOME/bin/hdfs dfs -chmod 777 /output


使用spark读取hdfs上的文件，进行wordcount 然后将结果保存到hdfs上。

object HdfsFileWordCount {
  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setMaster("local[*]").setAppName("hdfs file word count")
    val sc = new SparkContext(conf)

    val wc = sc.textFile("hdfs://master:8020/data/student.txt",1).flatMap(_.split(" "))
      .filter(_.nonEmpty)
      .map((_,1))
//      .filter(_._2 > 1)
      .reduceByKey(_+_)
        .persist(StorageLevel.MEMORY_ONLY)
    wc.foreach(println)

    wc.saveAsTextFile("hdfs://master:8020/output/res1")

    sc.stop()
  }
}