使用apache ranger控制hdfs权限,对组设置访问权限不起作用的解决

hadoop之ranger权限配置(二) ranger权限配置 阅读详情

问题:

     在ranger中的hdfs控制策略中对组mygroup授权访问/my目录可读、可写、可执行。并将/my目录的用户组已经改为mygroup。但是以mygroup组的用户test用户使用hadoop fs -mkdir /mygroup/test1命令创建目录,还是提示无权限。ramger审计日志显示被hadoop-acl权限执行器拒绝。后查看ranger的hdfs插件日志发现。是由于获取不到test用户的组信息,看下面日志中的userGroups为空

2019-02-15 17:37:13,008 DEBUG org.apache.ranger.plugin.policyengine.RangerPolicyEngineImpl: ==> RangerPolicyEngineImpl.evaluatePolicies(RangerAccessRequestImpl={resource={RangerResourceImpl={ownerUser={root} elements={path=/my; } }} accessType={execute} user={test} userGroups={} accessTime={Fri Feb 15 17:37:13 CST 2019} clientIPAddress={10.70.24.143} forwardedAddresses={} remoteIPAddress={null} clientType={null} action={EXECUTE} requestData={null} sessionId={null} resourceMatchingScope={SELF} clusterName={} context={token:USER={test} } }, policyType=0)

后查看源码发现这个值来自于hadoop框架的org.apache.hadoop.hdfs.server.namenode.INodeAttributeProvider中的checkPermission方法的ugi参数。

解决:在namenode节点上创建用户test和用户组mygroup。恢复正常。

注意:如果haoop开启了acl认证。必须在客户机和namenode节点上都要创建相应的用户和组

Apache Ranger原理与应用实践 文章目录一、业务背景现状&&需求二、大数据安全组件介绍与对比1、Kerberos2、Apache Sentry3、Apache Ranger4、为什么我们选择Ranger三、Apache Ranger系统架构及实践1、架构介绍2、组件介绍3、权限模型4、权限实现Hdfs实现原理Hbase实现原理Hive实现原理Yarn实现原理四、Ranger实践1、组权限实现 一、业务背景 大数据... 阅读详情

相关推荐

ranger控制数据访问权限

ranger的特点就是,自己可以帮你去干你不能干的事情。 比如你这个用户没有hdfs某个目录下某个文件的读权限,但是你在ranger里面配了可以访问这个文件,你访问时ranger就帮你拿回来给你   一,hbase权限 (OK) 【前置】 Ranger上配置了HBase的所有表都只能由hbase用户和ambari-qa用户来访问   【实际】 1、我们使用hive用户执行h

onlyForCloud的专栏 1万+

ranger-hdfs插件授权前提

ranger-hdfs插件开启 安装Apache Ranger和Hadoop,ranger-hdfs插件开启之后,管理员必须执行以下步骤: 将HDFS umask从022更改为077 这将防止所有者以外的任何人访问任何新文件或文件夹。 更改umask设置如下: Ambari - HDFS - 配置参数 - advanced - 高级设置 hdfs-site 将值从022更改为077 知道...

TT-Learning 1422

Apache Ranger 用户管理和HDFS权限控制教程

通过使用Apache Ranger,您可以轻松添加用户并为其分配HDFS权限。在本教程中,我们介绍了如何在Apache Ranger中创建用户,并定义了HDFS访问策略。通过遵循这些步骤,您可以实现对HDFS资源的细粒度访问控制和权限管理。完成安装和配置后,您将能够使用Ranger管理员界面管理用户和权限。如果新创建的用户具有适当的权限,您将能够成功创建并访问该文件。接下来,您需要定义HDFS访问策略,以控制用户对HDFS资源的访问权限。为了验证新创建的用户的HDFS权限,您可以使用以下示例代码执行操作。

学习使你进步。 1023

Ranger权限策略不生效或延迟

最近在使用Ranger配置管理Hbase权限时候,发现虽然创建了权限策略,但是不能生效,打开Ranger审计页面时,可以看到刚修改的策略虽然更新了,但是没有生效,如图: 该页面可以看到有些策略状态存在警告,鼠标放在警告图标处可以看到提示“策略生效时间延迟超过1小时··” ,打开ranger服务日志可以看到错误: 错误说“spnego.service.keytab”文件没有读的权限,并且发现该文件为root用户所属,于是将该文件赋予666权限,再次重启ranger服务后策略正常生效,打开Range

qq_32068809的博客 3094

Apache Ranger HDFS安全插件集成指南

在现代分布式系统中,数据安全和访问控制是不可忽视的重要环节。Apache Ranger,作为一款专为Hadoop生态系统设计的集中式安全管理平台,凭借其高效性和灵活性,在企业级数据湖的安全管理中扮演了核心角色。本章将概述Ranger的核心功能,并介绍其如何为企业提供一个全面、易于管理的安全解决方案。Ranger的首要功能是提供统一的权限管理界面,对各种数据资源进行集中控制。无论是HDFS文件系统、HBase数据表还是Kafka主题,Ranger都能够实现细粒度的访问控制策略。

weixin_33773084的博客 847

ranger-2.1.0-hive-plugin.tar.gz

ranger-2.1.0-hive-plugin.tar.gz

Apach Ranger 0.6 使用中的那些坑

公司需要增加对hdfs集群数据安全的控制,组里有人提出apach ranger可以完成数据动态模糊和hdfs目录,hive表的动态访问控制,因此尝试了下apach ranger相关的功能,并碰到了不少坑。Ranger 是hortonworks收购XA后开源出来的项目,现在还属于项目孵化阶段,用的人不多,国内只找到两篇安装指南,第一篇写的比较详细,针对的是ranger 0.5版本,我就是参照这个安装指

qwemicheal的博客 4110

OpenWrt路由开启DDNS+端口转发进行外网访问

OpenWrt路由开启DDNS+端口转发进行外网访问(LuCI界面实现)--开篇一、准备工作二、开机!三、连接--结尾 –开篇 本篇适用于一切装有OpenWrt系统的路由器/软路由,只要你保证有WAN接口和一个光猫,甚至你不需要有LAN接口(当然前提是你能连接路由器的WIFI进后台,不然你只能通过LAN进后台咯)。所有的配置过程都是基于LuCI界面来的,当然大神们一般都通过SSH登陆路由使用命令配置,但我也不会啊,只能给个有GUI界面的教程了。 一、准备工作 一个装有OpenWrt系统的路由器/软路由并

秋之颂的博客 9万+

Apache Ranger权限管理框架

一、什么是Apache Ranger Apache Ranger来源于2013年成立于美国加利福尼亚的XA Secure公司,它是一个Hadoop安全相关的开源组件。在2014年,Hortonworks收购了XA Secure公司,将其贡献给了Apache软件基金会,目前是Apache的顶级开源项目。 二、 Apache Ranger的特点 Apache Ranger是基于访问策略的权限控制模型,通过对库表配置不同的访问策略,再赋权给用户,达到数据隔离的目的。 ​ Apache Ranger提供了基于行

weixin_43914798的博客 9561

生物信息学新手必备:5分钟搞定GEO补充数据下载(含西柚云代理配置)

本文为生物信息学新手提供了快速下载GEO数据库补充数据的完整方案。核心在于解析GEO文件存储逻辑,构造正确的FTP下载链接,并利用云端代理服务(如西柚云)解决国内访问NCBI速度慢、易中断的问题。通过分步教程,用户无需命令行即可在5分钟内稳定获取大型测序文件,极大提升数据获取效率。

weixin_28314575的博客 636

osgearth2.10 demo功能介绍

osgearth-2.10 demo: 说明: 1、运行环境win7 x64 旗舰版,CPU i5-6400 8核,8G内存; 2、括号内是对应demo的测试参数(.earth); 3、配置OSG_FILE_PATH; 4、参数命令行可以查看各个demo需要的输入参数; 5、前缀说明:gui界面程序、cmd控制台程序、non功能未知; 6、程序后括号里的non表示不需要通过命令行输入参数; 示例: 1、gui:osgearth_3pv(simple.earth):相机与地球的投影关系,Range表示相机

rach09的专栏 2421

Apache Ranger 介绍与使用

1.Ranger简介 Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。 优点: 提供了细粒度级(hive列级别) 基于访问策略的权限模型 权限控制插件式,统一方便的策略管理 支持审计日志,可以...

liu_xue_xue的专栏 6328

SHAP图全解析:从理论到实践,教你如何读懂和优化模型特征

本文全面解析SHAP图,从博弈论基础到实战应用,指导读者如何解读和利用SHAP值优化机器学习模型。通过详解特征重要性条形图、小提琴图、依赖图及决策图等关键可视化工具,帮助数据科学家精准诊断模型、识别特征交互,并将洞见转化为特征工程与模型调试的实际行动,有效提升模型可解释性与性能。

svm4gardener的博客 187

Apache Ranger的安装及部署

一.Apache Ranger简介 Apache ranger是一个Hadoop集群权限框架,提供操作、监控、管理复杂的数据权限,它提供一个集中的管理机制,管理基于yarn的Hadoop生态圈的所有数据权限。 Apache Ranger可以对Hadoop生态的组件如Hive,Hbase进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略可以为不同的用户和组来设置,同时权限可与hadoop...

jianmin0920的博客 3090

【unity小技巧】实现FPS射击游戏枪武器随镜头手臂摇摆效果(2025/12/11补充)

如果我们视角移动转向,武器如果不跟着进行摇摆,会感觉我们的动作很生硬,特别是射击类游戏,如下实现武器摇摆这里主要分享两种实现方法,一种是改变武器位置,一种是修改武器旋转想要使用哪种方法都可以,看你自己喜欢,如果是我,我会选择第二种,比较简单,参数也少,而且个人感觉效果也更好,已枪中心做旋转更符合现实。

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 1470

prplOS组件流程梳理

本文梳理了prplOS系统中设备信息管理模块(deviceinfo-manager)的工作流程。该模块启动时通过/etc/init.d/deviceinfo-manager调用核心框架amxrt执行,主要功能包括收集设备信息、管理数据模型、初始化子系统等。系统采用ODL文件定义数据模型,通过解析器将配置文件转换为内存中的对象树。流程涉及命令行参数解析、ODL文件加载、后端模块扫描等核心步骤,最终构建出完整的数据模型供上层应用访问。整个架构体现了模块化设计思想,通过动态加载插件实现功能扩展。

四儿家的小祖宗的博客 1261

hive插件 ranger_Apache Ranger及Hive权限控制

一、Ranger概述1.Ranger简介Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。本文章介绍Ranger与Hive集成过程,与使用方法2.Ranger包含以下组件Ranger Admin 用户...

weixin_39726131的博客 1754

Windows Server 2019 服务器一天之中内存利用率越来越高直到死机,疑似内存泄漏

环境: 华为桌面云虚拟机 Windows Server 2019 版本1809 OS内部版本17763.107 问题描述: Windows Server 2019服务器 一天之中内存利用率越来越高直到死机,不断扩容内存从10G到16G一重启就正常然后慢慢又循环,连续几天都这样,疑似内存泄漏 内存泄漏是什么? 内存泄漏指由于疏忽或错误造成程序未能释放已经不再使用的内存。内存泄漏并非指内存在物理上的消失,而是应用程序分配某段内存后,由于设计错误,导致在释放该段内存之前就失去了对该段内存的控制,从而造成了内存的浪

本博客,博文仅代表个人操作经验,不能完全解决你的问题,仅供参考,佛系回复。 5392

hive表级权限控制_Apache Ranger——Hadoop ACL控制工具

本文主要通过ranger在hdfs acl中的应用以及原理介绍一下ranger的使用,另外介绍一下实际使用过程中碰到的问题。上篇文章回顾:时间服务器—NTP目前公司内部大多通过数据工场来管理hdfs上的数据,工场开发团队和hdfs、yarn的SRE同学也配合紧密。由于涉及到管理数据,那么不得不说到权限控制的问题。接触过hadoop的同学都应该了解hdfs上数据的权限类似linux中的权限...

weixin_39609770的博客 866

基于容积卡尔曼滤波的弹目相对姿态估计算法及其在导弹末端制导中的应用

本文针对导弹末端制导中的强非线性姿态估计问题,提出了一种基于容积卡尔曼滤波(CKF)的弹目相对姿态估计算法。通过建立包含视线角、角速率和相对距离的6维状态模型,利用三阶球面-相径容积准则精确逼近非线性状态分布,避免了传统EKF的线性化误差。在MATLAB/Simulink仿真中,CKF表现出比EKF更高的视线角速率估计精度和更快的收敛速度,最终显著减小了脱靶量,验证了其在提升导弹末端制导精度方面的有效性。该算法计算复杂度适中,适合工程实现,为高精度非线性姿态估计提供了新思路。

AI的内部世界的博客 105

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

HDP中 Ranger 整合Kerberos进行细粒度的权限访问控制

一、Ranger 权限问题 1、 Ranger 是什么? ranger则是针对组件内的权限 ,比如HDFS的读写执行,Hive和Hbase的读写更新,yarn的队列资源使用权,目前ranger只支持 hdfs,hive,hbase,kafka,yarn等组件,针对于组和用户对资源的访问权限进行细粒度的控制。 2、遇到的问题 安装 Ambari 时安装了 Ranger 但是没有配置权限,所以出现了下面的问题: Error:Error while comiling statement: FAIL.

康师傅没有眼泪 4823

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Apache Ranger——Hadoop ACL控制工具

本文主要通过ranger在hdfs acl中的应用以及原理介绍一下ranger的使用,另外介绍一下实际使用过程中碰到的问题。 上篇文章回顾:时间服务器—NTP 目前公司内部大多通过数据工场来管理hdfs上的数据,工场开发团队和hdfs、yarn的SRE同学也配合紧密。由于涉及到管理数据,那么不得不说到权限控制的问题。 接触过hadoop的同学都应该了解hdfs上数据的权限类似linux中的权限...

小米云技术 1486

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

深入解析 Apache Ranger

Apache Ranger 是一个为大数据平台提供集中化安全管理的开源框架,专门用于确保 Hadoop 生态系统中的数据安全。Ranger 通过提供细粒度的访问控制和监控,帮助组织实现对数据的全面安全管理,确保数据访问的透明性、可控性和合规性。Apache Ranger 的架构由多个关键组件组成,每个组件都在安全管理流程中扮演着特定的角色。Ranger Admin(Ranger 管理服务)

hello.reader 3948

hive表级权限控制_Apache Ranger及Hive权限控制

一、Ranger概述1.Ranger简介Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。本文章介绍Ranger与Hive集成过程,与使用方法2.Ranger包含以下组件Ranger Admin 用户...

weixin_39755824的博客 1893

Apache Ranger安全模型深度解析:企业级数据安全解决方案

"策略示例:HDFS路径访问控制",},],],组件作用关键技术策略管理定义和更新安全策略中央管理界面策略执行评估访问请求策略引擎安全插件集成各数据组件拦截器模式审计日志记录访问活动Solr/HDFS存储核心要点集中化管理:所有安全策略统一管理细粒度控制:支持资源、用户、访问类型多维度动态生效:策略变更实时分发全面审计:所有访问行为可追溯插件化架构:易于扩展新组件一句话总结:Ranger通过集中式策略管理、插件化执行引擎和完善的审计机制,为企业大数据平台提供了全方位的安全防护。

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 2444

ranger操作介绍

https://cwiki.apache.org/confluence/display/RANGER/Apache+Ranger+0.5+-+User+Guide 策略 HDFS 添加HDFS策略 您可以从HDFS策略列表页面为特定服务添加新策略。添加时,该策略应列在下表中。您可以通过提供的搜索过滤器搜索策略。 第1步:单击列表页面上的“添加新策略”按钮 第2步:创建政策表格 ...

TBSOD的博客 4222
上一篇: Aapache Ranger安装使用问题
下一篇: Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Internal Server Error
join_null
博客等级 码龄11年 25粉丝 113原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值