HDFS中关于sticky bit的使用

HDFS权限问题 背景 之前的工作中使用Hive一直都是用的内表,对于外表一直都没有正经研究过,最近偶尔使用了一次,就整出了不小的麻烦,而且发现是跟HDFS权限有关,然而就发现关于HDFS的权限问题理解的还是太少了,所以把问题整理一下。 一,Hive外表加载HDFS文件错误 场景是这样的:首先在Hive中新建一张外表 DROP TABLE IF EXISTS quickstart; CREATE EXTERNAL ... 阅读详情

HDFS 是一个基础的服务,Hive/HBase 等都是基于 HDFS,所以在配置其它上层服务时,需要提前配置好 HDFS 的权限控制。
在 HDFS 开启权限后,需要设置好服务的日志路径(如 Spark 的 /spark-history、YARN 的 /tmp/$user/ 等)
sticky bit
针对文件夹可设置 sticky bit,可以防止除了 superuser/file owner/dir owner 之外的其它用户删除该文件夹中的文件/文件夹(即使其它用户对该文件夹有 rwx 权限)。如:

#即在第一位添加数字1
hadoop fs -chmod 1777 /tmp
hadoop fs -chmod 1777 /spark-history
hadoop fs -chmod 1777 /user/hive/warehouse

sticky bit简介:
1.粘着位只对目录有效
2.普通用户对该目录拥有w和x权限,即普通用户可以在此目录创建文件删除文件

粘着位作用:
如果普通用户对一个目录拥有w权限,他就可以删除这个目录下的所有文件,包括别人创建的文件,
这样的话,那这个目录的权限就不合理.粘着位的目的就是解决这个问题的.如果一个目录赋予了
粘着位,除了root用户可以删除所有文件,普通用户就算对该目录拥有w权限也只能删除自己创建的
文件,不能删除其他用户创建的文件.

总结:
设置sticky bit权限位(只有root用户有权限设置sticky bit权限位)
chmod o+t 目录名
chmod 1777 目录名

删除sticky bit权限位
chmod 777 目录名
chmod o-t 目录名

大数据安全之hdfs与hive的Authentication与Authorization 我们经常听到以下口号:城市发展什么最重要?人才!家庭生活什么最重要?孩子!企业生产什么最重要?数据!在当今时代,数据在企业中作为具有战略意义的重要资产,其安全性受到了越来越高的重视... 阅读详情

相关推荐

Vmware虚拟机克隆详解:固定ip + 修改uuid等内容

分两大步 设置固定ip 克隆后修改相关配置 本文引用的其他地方的图片。会附上链接 若侵权,删 一、设置静态ip 先进行虚拟网络的编辑 接下来的操作需要管理员权限。(给权限就完事了) 接下来设置网卡: 网络和共享中心→ 更改适配器设置→VMware Network Adapter VMnet8 -> 右键属性 修改TCP/Ipv4的配置,网上常见是这种,笔者是英文的...

Unknownfuture的博客 9071

hive报错:permission denied by sticky bit无法删除文件解决办法

HDFS上在一个目录上设了sticky位后,(如/home,权限为1777)所有的用户都可以在这个目录下创建文件,但只能删除自己创建的文件(root除外),这就对所有用户能写的目录下的用户文件启到了保护的作用。 解决办法: hdfs用户在HDFS上权限最大,可以用hdfs用户改变该文件的属主,然后删除: 1、改变属主: sudo -u hdfs hdfs dfs -chown -R r...

记录日常开发过程中遇到的一些问题 4252

Matcap与菲涅尔

菲尼尔效果(简化版公式):fresnel = base + scale*((1-v*n)^power)透明队列为后前渲染,不关闭深度写入则会覆盖之前的像素,导致混合不了。y的值为0~1,根据x3返回对应y值。两色混合做个demo看看!混合为什么要关闭深度写入?

weixin_62773441的博客 372

HDFS HDFS 功能和特性

文章目录HDFS 功能和特性1.Snapshot快照1.概念2.快照功能开启3.快照功能禁用4.快照命令2.权限管理(认证,授权,审计)1.概念2.HDFS UGO权限管理3.umask权限掩码,文件和目录的默认权限4.权限相关命令5.Sticky bit(粘滞位)6.HDFS用户身份认证simple认证kerberos认证7.HDFS Group Mapping组映射8.HDFS ACL权限管理9.HDFS Proxy user 代理用户3.HDFS 透明加密1.加密层级2.HDFS 透明加密3.加密区

KeePromise的博客 1451

手把手教你用Simulink搭建单相全桥逆变器(附单电流闭环控制仿真文件)

本文详细介绍了如何在Simulink中搭建单相全桥逆变器并实现单电流闭环控制。从功率主电路建模、核心器件参数设置,到控制系统的PI调节与前馈补偿,提供了完整的仿真步骤与调试技巧。文章旨在通过动手实践,帮助读者跨越理论与仿真的鸿沟,深入理解电力电子闭环控制的核心原理。

d6e7f8g9h的博客 316

深入解析SerDes系统中的时钟数据恢复电路(CDR)——基于Cadence的PLL/Bang-Bang/PS-PI架构实现与仿真

本文深入解析SerDes系统中的时钟数据恢复电路(CDR),重点探讨基于Cadence平台的PLL、Bang-Bang和PS-PI三种架构的实现与仿真。通过详细的技术对比和工程实践案例,揭示CDR在高速串行通信中的关键作用,并提供TSMC 28nm工艺下的优化策略与故障排查经验,助力工程师应对10Gbps以上SerDes设计挑战。

weixin_29202687的博客 255

HDFS权限管理概述

HDFS的权限管理机制通过用户、组和权限位来控制对文件和目录的访问。通过合理配置和使用相关命令,可以有效管理HDFS中的权限,确保数据的安全性和访问控制。

happy_hound的博客 1974

手把手教你用SIMCOM A7670C_FASL模组实现双路MQTT连接阿里云(附完整源码)

本文详细介绍了如何使用SIMCOM A7670C_FASL 4G模组实现双路MQTT连接阿里云,包括硬件配置、开发环境搭建、双路MQTT架构设计及实现细节。通过完整的源码示例和实战指南,帮助开发者快速掌握物联网设备开发中的多路MQTT连接技术,提升工业级应用的开发效率。

weixin_33696822的博客 227

【HDFS】转载:HDFS 特殊权限位

一、前言 之前对HDFS更或者说是对Linux中文件的权限没有进行一个完整的学习,只是知道有所有者、所属组和其它权限,具体到某个人的权限有读®、写(w)和可执行(x)。 二、HDFS基于Linux Posix model HDFS的权限虽然是基于Linux的POSIX model,但是HDFS中其实并没有真正的用户和组的概念,只是从主机上拿到用户的信息然后对其存储的文件权限进行检查。 HDFS中每个文件和目录都有一个owner和group,并对owner、owner同一个组的user和其它user的权限进

Mrerlou的博客 669

PyTorch深度学习实战(47)——使用PyTorch构建Transformer模型

相较于传统模型,如循环神经网络 (RNN),Transformer 的优势在于能够理解输入和输出序列中元素之间的关系,在大语言模型 (如 ChatGPT 和 DeepSeek) 的发展中起到了关键作用,为了从零开始构建 Transformer,首先探讨自注意力机制,包括查询 (query)、键 (key) 和值 (value) 向量,以及缩放点积注意力 (SDPA)。将层归一化和残差连接集成到多头注意力层中,并与前馈层结合,构建编码器层,堆叠编码器层构建编码器,还将实现 Transformer 中的解码器。

盼小辉丶的博客 3万+

YOLO项目部署:从Python脚本到Docker容器的企业级交付全流程

YOLO模型企业级Docker部署方案 核心挑战 环境一致性:解决"本地能跑,服务器崩掉"问题 可扩展性:支持单实例到多实例扩展 稳定性:确保99.9%可用性 部署流程 项目改造:模块化代码,分离配置 Docker镜像:支持CPU/GPU环境 API服务:封装推理逻辑 监控告警:实现自动化运维 技术方案 需求 解决方案 环境一致性 Docker镜像+依赖冻结 可扩展性 K8s+负载均衡 稳定性 健康检查+自动重启 项目结构 模块化代码组织 外部化配置管理 精确依赖版本控制 摘要重点:通过

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1231

linux中的sticky bit

删除hive库报错(drop database xxx cascade;) 报错分析: 当前要删除的hive库的上层目录设置了sticky bit,只有当前用户的拥有者能删除目录下的子目录和文件 解决方法: 使用chmod修改目录权限 目录的权限是rwxrwxrwt 很惊讶这个t是什么,怎么不是x或者-呢?搜了下发现: 这个t代表是所谓的sticky bit。sticky bit: 该位可以理解为防删除位. 一个文件是否可以被某用户删除, 主要取决于该文件所属的组是否对该用户具有写权限. 如果没有写权限,

不问世事的码农 458

SAP采购申请审批策略配置简介

SAP采购申请审批策略配置简介 1、CT04创建特征

我小时候很黑的博客 8162

Hive加载HDFS文件权限失败:Permission denied by sticky bit: user=hive

修改对应的数据仓库的权限为777 sudo -u hdfs hadoop fs -chmod 777 /user/hive/warehouse/*.db 虽然解决了问题,但是简单粗暴,生成环境中还是不推荐这种方法。 其他推荐方法,请参考: http://www.huqiwen.com/2013/07/18/hdfs-permission-denied/ ...

wzh8108的专栏 2951

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Sticky BIT 权限

一、SBIT黏着位权限 1、黏着位目前只对目录有效 2、普通用户对该权限拥有 w 和 x 权限,即普通用户可以在此目录下拥有写入权限 3、如果没有黏着位,因为普通用户拥有 w 权限,所以可以删除此目录下所有文件,包括其他用户建立的文件。一旦赋予了粘着位,除了root用户可以删除所有的文件,但是不能删除其他用户建立的文件。 二、SBIT粘着位权限的作用 如果用户对目录有写权限,则可以删...

weixin_30918633的博客 180

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

HDFS的API操作

HDFS设计目标硬件错误:数量众多的廉价机器使得硬件错误成为常态数据流访问:应用以流的方式访问数据;设计用于数据的批量处理,而不是低延时的实时交互处理。放弃全面支持POSIX大数据集:典型的HDFS上的一个文件大小是G或T数量级的,支持一个云中文件数量达到千万数量级简单的相关模型:假定文件一次写入多次读取。未来可能支持Appending-writer的模型移动计算比移动数据便宜:一个应用请求的计算,

爱偷吃香蕉的萌猴子 692

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

CDH6.3.2集群Hive2Paimon的表迁移

- 1. 定义 Source Catalog (读取 Hive)'hive-conf-dir' = '/etc/hive/conf.cloudera.hive', -- CDH 标准配置路径'hadoop-conf-dir' = '/etc/hadoop/conf.cloudera.hdfs' -- CDH 标准配置路径​-- 2. 定义 Target Catalog (写入 Paimon)

QXXDYL的博客 1123

HDFS客户端的权限错误:Permission denied

在客户端向hdfs上传文件时出现权限错误时: 在centos下修改对应文件夹的权限 hadoop fs -chmod 777 /wxb(写自己对应的文件夹) 修改权限之后在客户端重新上传,上传成功。 ...

weixin_40359716的博客 554

hive报错:Failed to move to trash: hdfs Permission denied by sticky 无法删除文件

背景描述: 由于默认的hdfs是备份为3,在三台集群上hive的数据库都有备份,现在准备删除其他datanode上的备份,但执行 hadoop fs -rm -r /user/hive/warehouse/*命令时报错: rm: Failed to move to trash: Permission denied by sticky bit: user=root, path=… 错误分析: 经过网上搜查之后,发现错误原因可能有三,一是root用户权限不够,在hdfs下,hdfs才是最大权限用户,解决方法是增

weixin_41108545的博客 3248

Hadoop:hdfs文件permission denied问题解析

Cron jobs can be scheduled, but fail to write parquet file and seems due to user permission of “yarn”. : org.apache.hadoop.security.AccessControlException: Permission denied: user=yarn, access=WRIT...

weixin_34194359的博客 2217

Linux文件和目录的粘滞位(sticky bit)

一、简介 命令文件被运行的时候,就称作为进程。进程在运行过程中,都有一个身份,该身份叫做有效身份(euid,egid). 命令文件存在于文件系统的时候,有拥有者和拥有组的属性。 一般情况下,哪个用户执行命令,那么该命令在运行过程中(进程)所使用的身份(有效身份)是该用户的身份(命令执行者身份).与命令文件本身的属性没有关系。 用户tom执行命令/bin/touch , 执行过程中,touc

CatEatApple的专栏 1494

Hadoop报错:Permission denied by sticky bit: user=dr.who, path=

用户dr.who其实是hadoop中http访问的静态用户名,并没有啥特殊含义,可以在core-default.xml中看到其配置.同时,hdfs的默认配置hdfs-default.xml发现hdfs默认是开启权限检查的。

weixin_59295776的博客 912

HDFS之StorageInfo

public class StorageInfo {   public int   layoutVersion;   // layout version of the storage data   public int   namespaceID;     // id of the file system   public String clusterID;      // id of th

H.B.Hooper 1435

hdfs drwxrwxr-t -t 啥意思

hdfs drwxrwxr-t -t 啥意思,hdfs文件目录权限介绍

m0_49027804的博客 958

hive在spark上运行报错汇总

1:ERROR - An error occurred while calling o103.sql.(调用o103.sql时出错) Permission denied by sticky bit setting: user=airflow, inode=dm_cust_live_all(粘性位设置拒绝许可) 解决方法:定义表为 denied by sticky bit 非super不能修改表的...

沧海一粟的博客 1484

国赛Flume 1.10.0实战避坑指南:Hadoop生态兼容性与配置状态机解析

Flume是大数据实时数据采集的核心组件,其本质是嵌入Hadoop生态的轻量级流式通道,依赖JDK版本、Hadoop客户端API及ZooKeeper协同机制。理解Flume配置并非简单填空,而是定义source-channel-sink有向状态机,绑定关系决定事件流转逻辑。技术价值在于保障数据从源头到HDFS的可靠、低延迟、可验证落地,广泛应用于国赛实训、日志聚合与离线数仓接入场景。本文聚焦Flume 1.10.0在国赛环境下的JDK兼容性断崖、Hadoop配置注入失效、ZooKeeper会话超时陷阱等真实

weixin_34301132的博客 361
上一篇: ambari二次开发(一)
下一篇: screen用于命令行终端切换
lcm_linux
博客等级 码龄7年 7258粉丝 73原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值