Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: use...

最新推荐文章于 2022-04-06 22:54:56 发布

转载最新推荐文章于 2022-04-06 22:54:56 发布 · 372 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/zyt-bg/p/10359121.html

文章标签：

#大数据 #json #java

本文探讨了在使用Spark进行数据处理时遇到的HDFS权限问题，详细记录了解决保存结果到HDFS上没有写权限的问题过程，并介绍了如何通过修改权限实现文件的正确写入。同时，文章提供了SaveMode示例代码，展示了如何使用不同的SaveMode来处理数据帧的保存。

保存文件时权限被拒绝曾经踩过的坑：保存结果到hdfs上没有写的权限通过修改权限将文件写入到指定的目录下
*
*
* $HADOOP_HOME/bin/hdfs dfs -chmod 777 /user
*
*
* Exception in thread "main" org.apache.hadoop.security.AccessControlException:
* Permission denied: user=Mypc, access=WRITE,
* inode="/":fan:supergroup:drwxr-xr-x

package cn.spark.study.sql;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.SQLContext;
import org.apache.spark.sql.SaveMode;

/**
 * SaveModel示例
 * 
 * @author 张运涛
 *
 */
public class SaveModeTest {

    @SuppressWarnings("deprecation")
    public static void main(String[] args) {
        System.setProperty("hadoop.home.dir", "E:\\hadoop-2.7.1");

        SparkConf conf = new SparkConf().setMaster("local").setAppName("SaveModeTest");
        JavaSparkContext sc = new JavaSparkContext(conf);
        SQLContext sqlContext = new SQLContext(sc);

        DataFrame peopleDF = sqlContext.read().format("json").load("hdfs://zhang:9000/user/hadoop/spark/people.json");
        /**
         * 保存文件时权限被拒绝 曾经踩过的坑： 保存结果到hdfs上没有写的权限 通过修改权限将文件写入到指定的目录下
         * 
         * 
         * $HADOOP_HOME/bin/hdfs dfs -chmod 777 /user
         *
         *
         * Exception in thread "main" org.apache.hadoop.security.AccessControlException:
         * Permission denied: user=Mypc, access=WRITE,
         * inode="/":fan:supergroup:drwxr-xr-x
         * 
         */

        peopleDF.save("hdfs://zhang:9000/user/people_savemode_test", "json", SaveMode.Append);
    }

}