集群遇见的问题及解决方案

最新推荐文章于 2024-09-25 11:11:57 发布

HarSenZhao

最新推荐文章于 2024-09-25 11:11:57 发布

阅读量663

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签：集群遇见的问题及解决方案

本文链接：https://blog.youkuaiyun.com/Johnzhc/article/details/81772156

在运行Spark Application向HDFS写文件时，出现`AccessControlException`，原因是用户缺乏`/user`目录的写入权限。关闭HDFS权限检查不安全，可行的解决方案包括将用户改为目录所有者或在Linux环境下将执行用户添加到`supergroup`组，Windows用户需在NameNode机器上创建同名用户并加入`supergroup`。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

集群遇见的问题及解决方案

1.解决“org.apache.hadoop.security.AccessControlException”

在运行某个Spark Application的时候，需要向Hdfs写入文件，控制台会输出以下错误信息：

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=Administrator, access=WRITE, inode="/user":root:supergroup:drwxr-xr-x