Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: use...

本文探讨了在Window系统上编程遇到的Hadoop权限问题,具体表现为无法在HDFS上写入数据。文章提供了详细的解决方案,包括修改HDFS目录权限以允许写入,并展示了如何使用Spark进行WordCount操作并将结果保存回HDFS。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在window上编程提示没有写Hadoop的权限

 

Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=Mypc, access=WRITE, inode="/":fan:supergroup:drwxr-xr-x

 

          曾经踩过的坑: 保存结果到hdfs上没有写的权限
* 通过修改权限将文件写入到指定的目录下
*
* $HADOOP_HOME/bin/hdfs dfs -mkdir /output
* $HADOOP_HOME/bin/hdfs dfs -chmod 777 /output


使用spark读取hdfs上的文件,进行wordcount 然后将结果保存到hdfs上。
object HdfsFileWordCount {
def main(args: Array[String]): Unit = {

val conf = new SparkConf().setMaster("local[*]").setAppName("hdfs file word count")
val sc = new SparkContext(conf)

val wc = sc.textFile("hdfs://master:8020/data/student.txt",1).flatMap(_.split(" "))
.filter(_.nonEmpty)
.map((_,1))
// .filter(_._2 > 1)
.reduceByKey(_+_)
.persist(StorageLevel.MEMORY_ONLY)
wc.foreach(println)

wc.saveAsTextFile("hdfs://master:8020/output/res1")

sc.stop()
}
}

转载于:https://www.cnblogs.com/nulijiushimeili/p/9787207.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值