HDFS用户权限管理

最新推荐文章于 2025-06-26 13:07:08 发布
原创 最新推荐文章于 2025-06-26 13:07:08 发布 · 5.6k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.youkuaiyun.com/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

               

1 hdfs权限

1.1 超级用户

启动namenode服务的用户就是超级用户, 该用户的组是supergroup

具体配置参考之前我的博客

Ubuntu上使用Hadoop 2.x 一 hdfs超级用户创建和设置

CentOS6.6安装 HDFS 2.7.1

1.2 文件权限管理

1.2.1 创建时的owner和group

文件或者目录被创建之时，服从BSD规则，owner是客户端进程的用户，group是父目录的group

1.2.2 访问权限说明
objectrwxstick bit(restricted deletion flag)
file读文件写或者追加写文件 无效
directory列出目录的内容创建或者删除子文件或子目录访问子文件或者子目录阻止移动或者删除该目录内的文件或目录(超级用户，owner和group不会被stick bit阻止)
     

由于和POSIX类似较多，可以参考以下两篇Linux用户的博客

Linux用户管理命令

Linux文件权限

1.2.3 应用示例
  1. 创建/input目录，用于接收外部写入的数据
    • input目录的group也是input，owner是lisa(超级用户),
    • 创建/input/dean目录，用于接收dean用户写入的数据, owner是dean用户，group用户允许写入数据
  2. 创建目录
    $ hdfs dfs -mkdir -p /input/dean  $ hdfs dfs -ls /Found 3 itemsdrwxr-xr-x   - lisa supergroup          0 2015-11-08 17:26 /inputdrwxr-xr-x   - lisa supergroup          0 2015-09-28 15:21 /testdrwxr-xr-x   - lisa supergroup          0 2015-11-08 17:09 /tmp$ hdfs dfs -ls /inputFound 1 itemsdrwxr-xr-x   - lisa supergroup          0 2015-11-08 17:26 /input/dean
    • 修改input目录的owner为lisa，group从supergroup改为input
    $ hdfs dfs -chown lisa:input /input$ hdfs dfs -ls /Found 3 itemsdrwxr-xr-x   - lisa input               0 2015-11-08 17:26 /inputdrwxr-xr-x   - lisa supergroup          0 2015-09-28 15:21 /testdrwxr-xr-x   - lisa supergroup          0 2015-11-08 17:09 /tmp
    • 修改/input/dean目录的ower和group都为dean
    $ hdfs dfs -ls /inputFound 1 itemdrwxrwxr-x   - dean dean           0 2015-11-21 16:24 /input/dean

    注意，客户机上创建Linux 用户dean，无需在namenode节点上创建该用户

  3. 允许input group用户写入/input/qoros目录
    1. 先要设置目录权限,让input组用户都能读，写，执行该目录
      $ hdfs dfs -chmod -R g+w /input/qoros
    2. 然后在客户机上
      • 创建guoqiang帐号和组input
      useradd guoqianggroupadd input
      • 改guoqiang用户组为input
      usermod -g input guoqiang

      在namenode所在的服务器上添加相同的用户和组，这点很奇怪，如果不这么干写操作会被拒绝,这会造成麻烦，因为两个namenode节点都要这么干

      useradd guoqiangusermod -g input guoqiang
  4. 取消其他用户的所有权限
    $ hdfs dfs -chmod -R o-r /input/dean$ hdfs dfs -ls /inputFound 1 itemsdrwxrwx--x   - lisa supergroup          0 2015-11-08 17:26 /input/dean$ hdfs dfs -chmod -R o-x /input/dean$ hdfs dfs -ls /inputFound 1 itemsdrwxrwx---   - lisa supergroup          0 2015-11-08 17:26 /input/dean
1.2.4 不支持setuid 和 setgid bits

1.3 POSIX ACLs（目前尚未使用)

为特定的用户和组提供细致粒度的权限管理, 而不只是owner,group。该功能默认关闭, 需要如下设置打开

dfs.namenode.acls.enabled true

具体配置实在hdfs-site.xml中

<property> <name>dfs.permissions.enabled</name> <value>true</value> </property><property> <name>dfs.namenode.acls.enabled</name> <value>true</value> </property>

在core-site.xml设置用户组默认权限.

<property><name>fs.permissions.umask-mode</name><value>002</value></property>
1.3.1 hadoop支持两种用户认证模式

simple or kerberos

1.4 参考文档

hortonworks blog apache doc

Author: dean

Created: 2015-11-21 六 16:44

Validate


           

给我老师的人工智能教程打call！http://blog.youkuaiyun.com/jiangjunshow
这里写图片描述
在意一下
关注
HDFS权限管理
zzaliubi的博客
04-22 2785
HDFS权限管理 一、概述 HDFS实现了一种权限模型。每一个文件或者文件夹，都有属主和属组。文件或文件夹对其他的用户（非属组和属主的用户）也是有单独的权限可以设定。 对于文件来讲，r 代表着可读权限，w 代表着可写或追加的权限。由于HDFS上的文件不能执行，所以没有x权限。 对于文件夹来讲，r 代表可以读取文件列表。w 代表可以创建或删除这个文件夹里面的文件或文件夹。x代表可以进入这个文件夹的子目录。 如上图所示， d rwx rwx rwx 一共为四部分。 第一部分的d，代表目录，如果是文件则为空。
HDFS文件访问权限
weixin_30887919的博客
07-30 599
HDFS中的文件访问权限 针对文件和目录，HDFS的权限模式与POSIX非常相似一共提供三类权限模式:只读权限（r）、写入权限（w）和可执行权限（x）。读取文件或列出目录内容时需要只读权限。写入一个文件或是在一个目录上新建及删除文件或目录，需要写入权限。对于文件而言，可执行权限可以忽略，因为你不能再HDFS中执行文件(与POSIX不同)，但在访问一个目录的子项时需要改权限。每个文件和目录都有所属...
HDFS（Hadoop分布式文件系统）总结
最新发布
Cachel Wood的博客
06-26 666
HDFS核心架构与特性摘要 HDFS是Hadoop生态的分布式文件系统，采用主从架构：NameNode管理元数据，DataNode存储数据块（默认128MB），Client提供交互接口。其核心特点包括高容错性（3副本机制）、流式数据访问和硬件容错。写入采用流水线复制，读取并行获取数据块。通过NameNode HA（主备+QJM）解决单点故障，支持联邦架构提升扩展性。高级特性涵盖纠删码（降低存储开销）、分层存储（按热冷数据分级）和快照备份。优化策略包括小文件合并、调整块大小及机架感知配置，适用于PB级离线数据
hdfs操作命令的权限问题
Deng0_huakai
11-12 1152
权限报错问题 [root@hadoop002 hadoop-2.6.0-cdh5.7.0]# bin/hdfs dfs -put README.txt /ruozedata (当不在hadoop用户下的时候，就要严格在其bin目录下执行hdfs的命令) put: Permission denied: user=root, access=WRITE,inode=&quot;/ruozedata&quot;:ha...
一：HDFS 用户指导
weixin_30245867的博客
08-30 184
1.hdfs的牛逼特性 Hadoop, including HDFS, is well suited for distributed storage and distributed processing using commodity hardware. It is fault tolerant, scalable, and extremely simple to expand. Map...
HDFS系统权限详解
菜菜的博客
11-06 3460
HDFS文件系统的超级用户：是启动namenode的用户(也就是课程的hadoop用户)在HDFS中，可以使用和Linux一样的授权语句，即：chown和chmod。HDFS中，也是有权限控制的，其控制逻辑和Linux文件系统的完全一致。但是不同的是，两个系统的Supergroup不同(超级用户不同)启动namenode的用户就是HDFS中的超级用户。比如如下，root用户就是没有权限的。Linux的操作用户是root。
一篇文章搞懂HDFS权限管理.pdf
06-21
### HDFS权限管理详解 #### 一、引言 随着大数据技术的发展，Hadoop已成为处理大规模数据集的重要工具。作为Hadoop的核心组件之一，HDFS（Hadoop Distributed File System）承担着海量数据的存储任务。在企业环境...
CDH之HDFS用户权限问题
ArYe
05-27 2228
root用户操作HDFS时报错： mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x 是因为CDH默认开启了检查HDFS权限 解决方法 关闭检查HDFS权限可以解决报错，但降低了HDFS的安全性 对此的更优解是：把用户添加到supergroup组 下面以root用户为例： groupadd No such file or directory
【HDFS】权限管理
goat的博客
12-20 7327
一文带你了解HDFS的权限管理~~~
Linux文件/目录 所有者/所在组
辉小歌的博客
10-29 2530
目录文件/目录所有者文件/目录所在组上述的实践操作 文件/目录所有者 文件所有者:一般为文件的创造者,谁创建了该文件，就自然的成为文件的所有者。 查看文件/目录的所有者 指令: ls-ahl 修改文件/目录所有者 指令: chown 用户名 文件名 文件/目录所在组 查看文件/目录所在组 指令: ls-ahl 修改文件/目录所有组 指令: chgrp 组名 文件名 上述的实践操作 例: 用当前这个su用户创建一个1.txt文件,看1.txt文件的所有者和所在组分别是谁 创建一个aa用户,将1.
如何以hdfs的用户来执行hadoop命令
Ganymede的Hadoop世界
02-16 1万+
当hadoop集群中加上权限管理后，即使是linux的root用户也不能拥有最高权限了，因为hdfs的管理员是hdfs，那么问题来了，怎么在命令行调用hdfs的命令呢
HDFS权限管理设置
热门推荐
c18092694487t的博客
04-23 1万+
这里写自定义目录标题一、HDFS权限相关的配置参数1.1.配置HDFS权限1.2.配置HDFS超级用户二、更改HDFS集群中文件属性的常用命令2.1.chmod命令2.2. chown命令2.3.chgrp命令三、HDFS访问控制列表3.1.与ACL相关的命令概述3.2.使用getfacl命令检查目录或文件上当前的ACL信息(若之前没有启用ACL功能，默认是没有ACL策略的)3.3.使用setfacl命令为目录或文件设置ACL策略3.4.使用chmod命令更改文件权限，而后在看它对新ACL掩码的影响3.5.
一篇文章搞懂HDFS管理权限
小米云技术
06-14 8277
小米的HDFS承载了公司内多个部门几十条业务线的几十PB数据，这些数据有些是安全级别非常高的用户隐私数据，也有被广泛被多个业务线使用的基础数据，不同的业务之间有着复杂的数据依赖。因此，如何管理好这些数据的授权，并尽可能自动化低成本的做好权限管理，是很重要的一部分工作。本文系统的描述了HDFS权限管理体系中与用户关联最紧密的授权相关内容，希望通过本文让大家对权限管理有一个清晰的了解。 HDFS的权...
与HDFS命令交互时如何指定文件和目录确切位置的URI
Bob Liu的程序人生
09-30 5465
本文介绍URI的基本格式，并结合Hadoop 2.7.x相关HDFS命令，讲解在与HDFS交互中如何指定文件和目录确切位置的URI。
hadoop用户权限管理
panhongan的专栏
01-06 3366
【导读】     hadoop要给不同的用户赋予不同权限，保障hdfs的数据安全。 【正文】 1. 增加用户 useradd -g 2. 修改目录的拥有者 sudo -u hdfs hdfs dfs -mkdir /user/app_user/ 以hdfs账号创建一个目录 sudo -u hdfs hdfs dfs -chown -R : /user/app
Hive报错：Permission denied: user=root, access=WRITE, inode=“/user“:hdfs:supergroup:drwxr-xr-x
wangxiaowu_001的博客
04-29 939
刚部署了CDH集群，同事往hdfs中写了一些测试数据，通过Hive查询这些数据的时候报了下面错误：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x。
HDFS权限管理用户指南
cyy2learn的博客
08-10 834
转自：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_permissions_guide.html HDFS权限管理用户指南 概述用户身份理解系统的实现文件系统API变更Shell命令变更超级用户Web服务器在线升级配置参数 概述 Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文
hdfs文件权限
05-09
<think>好的，用户想了解HDFS文件权限的设置和修改，以及解决相关的权限问题。我需要结合提供的引用内容，整理出一个清晰的回答结构。首先，HDFS的权限机制类似于Linux，有rwx权限，用户、组和其他。可能需要先解释基本概念，然后讲如何查看权限，再讲如何修改权限，比如chmod、chown这些命令。用户可能还遇到权限不足的问题，需要给出解决方法，比如临时设置777权限，但要注意安全问题。引用中提到HDFS的权限目的是防止好人做错事，所以权限管理更多是内部规范，而不是强安全措施。还要注意，HDFS客户端会根据当前系统用户来设置owner，所以如果用户和namenode上的用户不一致，可能会有问题，需要添加相同用户。另外，引用里提到HDFS不支持setuid/setgid，这点可能需要提到。最后生成相关问题，比如权限机制与Linux的区别，权限不足的解决办法，安全建议等。需要确保步骤清晰，命令示例正确，并且引用对应的参考资料。</think>### HDFS文件权限设置与修改指南 HDFS文件权限机制采用与Linux相似的POSIX模型，通过用户(user)、组(group)和其他用户(others)三个维度进行权限控制[^1]。以下是具体操作步骤： #### 一、权限查看与基本概念 1. **查看文件权限**： ```bash hdfs dfs -ls /path ``` 输出示例：`drwxrwx--- - lisa supergroup 0 2023-08-01 10:00 /input` - 第一位`d`表示目录 - 后三组`rwx`分别对应用户、组、其他用户的权限 2. **权限符号说明**： - `r`：读取（查看文件/列表目录内容） - `w`：写入（创建/删除文件） - `x`：执行（访问子目录，对文件无意义） #### 二、权限修改操作 1. **修改权限值（chmod）**： ```bash # 设置目录所有用户可读可写 hdfs dfs -chmod -R 777 /testdata # 移除其他用户执行权限 hdfs dfs -chmod o-x /logs/access.log ``` - `-R`表示递归操作[^3] - 数字模式（777=rwxrwxrwx）或符号模式（u+rwx）均可使用[^2] 2. **修改文件所有者（chown）**： ```bash hdfs dfs -chown -R hadoopuser:devgroup /projects ``` - 需确保目标用户在NameNode服务器上存在[^4] #### 三、常见问题解决方案 1. **写入权限被拒绝**： ```bash # 临时解决方案（生产环境慎用） hdfs dfs -chmod -R 777 /targetdir ``` 更安全的做法是精准设置权限： ```bash hdfs dfs -chmod -R 750 /sensitive_data # 所有者读写执行，同组用户读执行 ``` 2. **跨节点用户同步**： - 在**所有NameNode节点**创建相同用户： ```bash useradd hadoopuser && usermod -g devgroup hadoopuser ``` - 确保客户端执行用户与HDFS用户一致[^4] #### 四、特殊限制说明 1. HDFS不支持`setuid/setgid`权限位 2. 默认未启用POSIX ACL（需手动配置） 3. 权限验证基于客户端声明的用户身份[^1]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值