spark读取hdfs的权限异常

最新推荐文章于 2025-06-05 21:10:03 发布

蹩脚法师

最新推荐文章于 2025-06-05 21:10:03 发布

阅读量3.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： bug解决 spark

本文链接：https://blog.youkuaiyun.com/piduzi/article/details/81841638

在使用Spark连接HDFS时，由于本机用户名与服务器文件所属用户名不同，出现了权限被拒绝的异常。错误堆栈显示为AccessControlException。解决方法包括修改文件权限或所属用户，这里采用后者，在程序中通过设置HDFS用户名来避免权限问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hdfs本身是没有身份认证的，但是为了防止用户误操作，它也有类似linux的文件权限限制

我在IDE里开发程序连接hdfs因为本机名和服务器的文件所属用户名不同导致没有读取权限，错误异常堆栈如下：

Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=shadow, access=EXECUTE, inode="/user/bduser/zongyh/hdfs_hive.csv":bduser:supergroup:drwx------
   at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:319)
   at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkTraverse(FSPermissionChecker.java:259)
   at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:205)
   at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:190)
   at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1728)
   at org.apache.hadoo