CDH安全之Sentry权限管理

CDH 之 Kerberos 安全认证和 Sentry 权限控制管理(一) Apache Sentry是Cloudera公司发布的一个Hadoop开源组件,2016年3月成为Apache顶级项目。Sentry是一个基于角色的粒度授权模块,提供了对Hadoop集群上经过身份验证的用户提供了控制和强制访问数据或数据特权的能力。Kerberos+Sentry 阅读详情


一、Sentry概述

cdh 版本的 hadoop 在对数据安全上的处理通常采用 Kerberos+Sentry 的结构。
kerberos 主要负责平台用户的用户认证,sentry 则负责数据的权限管理。

1.1 Sentry是什么

Apache Sentry是Cloudera公司发布的一个Hadoop开源组件,它提供了细粒度级、基于角色的授权以及多租户的管理模式。

Sentry提供了对Hadoop集群上经过身份验证的用户和应用程序的数据控制和强制执行精确级别权限的功能。Sentry目前可以与Apache Hive,Hive Metastore / HCatalog,Apache Solr,Impala和HDFS(仅限于Hive表数据)一起使用。

Sentry旨在成为Hadoop组件的可插拔授权引擎。它允许自定义授权规则以验证用户或应用程序对Hadoop资源的访问请求。Sentry是高度模块化的,可以支持Hadoop中各种数据模型的授权。

1.2 Sentry中的角色

在这里插入图片描述

  • object: 受保护的对象
  • privilege: 对 object 的访问权限
  • role: privilege 的集合
  • user: 用户
  • group: user 的集合

二、Sentry安装部署

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
如果没有sentry库的,用root登陆mysql,执行以下sql:

mysql> CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

在这里插入图片描述


三、Sentry与Hive/Impala集成

3.1 修改配置参数

  1. 取消HiveServer2用户模拟
    在hive配置项中搜索 “HiveServer2 启用模拟”,取消勾选
    在这里插入图片描述
  2. 确保hive用户能够提交MR任务
    在yarn配置项中搜索“允许的系统用户”,确保包含“hive”。
    在这里插入图片描述

3.2 配置Hive使用Sentry

  1. 在Hive配置项中搜索“启用数据库中的存储通知”,勾选。
    在这里插入图片描述
  2. 在Hive配置项中搜索“Sentry”,勾选Sentry。
    在这里插入图片描述

3.3 配置Impala使用Sentry

在Impala配置项中搜索“Sentry”,勾选。
在这里插入图片描述

3.4 配置HDFS权限与Sentry同步

  1. 在HDFS配置项中搜索“启用访问控制列表”,勾选。
    在这里插入图片描述
  2. 在HDFS配置项中搜索“启用 Sentry 同步”,做出下图修改。
    在这里插入图片描述

四、Sentry 授权

使用Sentry进行授权管理,需要使用Sentry的管理员用户对其他用户进行授权,授权的方式有两种,一是通过HUE进行可视化操作,一是使用HIVE中的授权语句进行操作。

4.1 基于 Hue

  1. 配置HUE支持Sentry
    在HUE配置项中搜索“Sentry”,勾选Sentry。
    在这里插入图片描述
    在HUE配置项中搜索“sentry-site.xml”,添加如下内容。

    sentry.hive.testing.mode
    true
    

    在这里插入图片描述

    1. 查看Sentry权限管理中的管理员组。
      在Sentry的配置项中搜索“管理员组”,其中包括hive、impala,只有当某用户所属组位于其中时,才可为其他用户授予权限。
      在这里插入图片描述
  2. 在Hive集群所有节点创建 kino 账号,为权限测试做准备。

    useradd kino
    

    使用hive用户登录HUE,创建用户组 kino ,并在两个用户组下创建用户 kino,为权限测试做准备。
    在这里插入图片描述
    Sentry 工作界面(需要授予 hive 用户访问Sentry的权限)
    在这里插入图片描述
    在这里插入图片描述

  3. 点击Roles按钮,并点击添加按钮
    在这里插入图片描述

  4. 编辑Role
    admin_role(首先为hive用户添加管理员权限)
    在这里插入图片描述
    kino_role
    在这里插入图片描述

  5. 权限测试
    使用kino账号登陆hue,查询default库的数据

4.2 基于 命令行

CDH配置Kerberos和Sentry (超详细) 1.安全之Kerberos安全认证 1 Kerberos概述 1.1 什么是Kerberos Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构,并且能够进行相互认证,即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。 Kerberos不是k8s,Kubernetes简称k8s,是一个开源 阅读详情

相关推荐

CDH 集成Sentry权限控制

                                      CDH 集成Sentry权限控制 1.hue集成sentry服务 首先登陆如下界面我的是http://master:7180/cmf/home 然后点击hue组件进入下面的界面,点击配置搜索Sentry将Sentry服务的Sentry勾选上 2. hive和impala启用Sentry和上面的步骤一样这里就...

Johnzhc的博客 3354

Apache Sentry架构介绍

介绍 Apache Sentry是Cloudera公司发布的一个Hadoop开源组件,截止目前还是Apache的孵化项目,它提供了细粒度级、基于角色的授权以及多租户的管理模式。Sentry当前可以和Hive/Hcatalog、Apache Solr 和Cloudera Impala集成,未来会扩展到其他的Hadoop组件,例如HDFS和HBase。 特性...

weixin_33709364的博客 1131

CDH各组件

CDH| Spark升级 摘要:升级之Spark升级 在CDH5.12.1集群中,默认安装的Spark是1.6版本,这里需要将其升级为Spark2.1版本。经查阅官方文档,发现Spark1.6和2.x是可以并行安装的,也就是说可以不用删除默认的1.6版本,可以直接安装2.x版本,它们各自用的端口也是不一样的。 Cloudera发布 阅读全文 posted @ 2020-04-22 11:55 kris12 阅读(637) 评论(0) 推荐(0) 编辑 CDH| 安全之Kerberos安全认证 摘要:1 Ke

萌兔兔MMQ!! 847

CDH数仓项目(三) —— Kerberos安全认证和Sentry权限管理

CDH数仓项目基于Kerberos安全认证和Sentry权限管理详细说明

不以物喜的博客 3162

ESP32S3电池电量监测实战:从分压电路到IDF组件配置(附GitHub源码)

本文详细介绍了ESP32S3电池电量监测的完整实战方案。从硬件分压电路的电阻选型、滤波设计,到软件层面利用ESP-IDF的ADC校准机制提升精度,并重点讲解了如何集成bat_monitor开源组件快速实现电压采集、电量计算、充电检测与事件通知。文章提供了从原理到调试的完整指南和GitHub源码,帮助开发者构建稳定可靠的物联网设备电源管理系统。

ee345的博客 530

vasp计算练习1-Si

si的vasp训练流程

qq_41074165的博客 3295

大数据权限管理sentry与Kerberos概述

大数据权限管理sentry与Kerberos概述 常见的解决方案分为两部分 1. 管理用户身份*即用户身份认证 2. 用户身份和权限的映射关系管理 即授权 而Hadoop中常见的开源解决方案是Kerberos(认证)+LDAP(授权),LDAP则是授权的环节,常见的解决方案有Ranger,Sentry等,Ranger与Sentry是不同的厂商开发出的所以在不同的平台需要用不同的框架,去进行授权的...

叁木大数据 3997

Python | 集合(set)运算之intersection()

简介 在做力扣题的时候,有一个思路是要求解两个字符串的交集。 一般来说,求解交集的思路是遍历两个字符串,判断有无相等,有相等则添加到交集中,直到循环结束。 但是这样做,会增加很多的不必要的遍历:比如说,当一个字符串中有多个相同的元素时,该元素会被遍历多次。 因此,在求解时,我们可以先将字符串转换为set集合类型。集合中存储的元素没有顺序,且互异(即元素不可重复)。 算例 求字符串m“abcdaaa” 与 字符串n“bcddses”是否存在交集 首先将字符串转换为set类型: m = set(m) n

lovetaozibaby的博客 1万+

cdh上hdfs sentry权限同步

集群开启sentry进行hive表权限管理后,sentry权限没有同步到hdfs上导致还需要给hdfs授权,为了简化也许会将hdfs目录授权为777,但这样又存在安全风险。下面介绍下在cdh集群开启hdfs sentry权限同步。 1.将sentry 管理员用户在linux系统上加入hive 组,非hive组用户权限同步会有问题。 usermod -a -G hive user 2....

wflh323的专栏 3806

Win7运行豆包桌面版的兼容性原理与实操方案

Windows 7作为已停止主流支持的操作系统,其与现代Electron应用的兼容性问题本质是API层面的系统调用断层。Electron 28+依赖的GetSystemTimePreciseAsFileTime、SetThreadDescription等Windows 10专属API,在Win7 SP1中天然缺失,导致‘无法定位程序输入点’等典型错误。解决路径并非简单打补丁,而是需理解底层ABI差异、补丁堆叠边界及动态API转发机制。关键技术价值在于通过兼容层(如VxKex NEXT)或运行时降级(Elec

weixin_33290540的博客 1326

vscode远程连接deepin出错:过程试图写入的管道不存在的解决方法

背景:昨天我用vscode使用ssh远程开发还处于正常状态,今天刚打开电脑,并启动deepin,再次使用vscode重新连接就出现异常。意思就是22号默认端口连接被拒绝,所以要先确定ssh是否连接。3.重新进入vscode里面,重新连接,如图成功连接。,查看port后面的端口号是不是22号。1.检查sshd是否启动。

qq_43573047的博客 2946

cdh用户权限_CDH6.3.2之Sentry权限管理(三)

01PARTSentry概述Apache Sentry是一个可以对Hadoop集群中的数据及元数据进行细粒度管理的权限管理系统。Sentry目前可以与ApacheHive,HiveMetastore / HCatalog,Apache Solr,Impala和HDFS(仅限于Hive表数据)等进行集成,对其数据进行权限管理。02PART部署Sentry服务1.在CDH集群...

weixin_42337065的博客 1313

ControlCAN.dll开发适配USBCAN_E/2E_U设备

摘要:本文提供了USBCAN_E/2E_U设备的配置指南:1)安装专用驱动;2)获取最新的ControlCAN.dll文件;3)修改VCI调用顺序,新增VCI_SetReference函数设置波特率;4)使用工具计算波特率配置值,并给出了常见波特率对应的代码参考值(如500K对应0x060007)。配置过程强调使用特定工具计算精确的波特率参数,并提供了相关软件下载链接。

weixin_43969033的博客 387

kerberos 与 sentry 原理及使用

安全认证与权限管理的必要性 非安全集群 安全认证集群 多租户设计愿景 kerberos kerberos原理 Kerberos是一个用于鉴定身份(authentication)的协议, 它采取对称密钥加密(symmetric-key cryptography),密钥不会在网络上传输。在Kerberos中,未加密的密码(unencrypted password)不会在网络上传输,因此攻击者无法通过嗅探网络来偷取用户的密码。 在cdh大数据平台中充当这秘钥的角色,cdh平台中组件会集成ker

heqingcool的博客 950

Xilinx PCIe IP核示例工程仿真流程与关键任务解析

本文详细解析了Xilinx PCIe IP核示例工程的仿真流程与关键任务。通过搭建仿真环境、解读初始化日志,并深入剖析TSK_TX_MEMORY_WRITE_32等核心任务的TLP报文生成与交互过程,帮助开发者掌握PCIe IP核的仿真调试方法,为实际硬件设计提供可靠的验证基础。

weixin_28314575的博客 505

模型实战(16)之StrongSort (OSNET)配合YOLOv5、v7、v8 实现多目标跟踪详解

StrongSort (OSNET)配合YOLOv5、v7、v8 实现多目标跟踪详解

yohnyang的博客 1769

Cloudera Manager CDH Sentry 授权

参考: https://blog.youkuaiyun.com/u011026329/article/details/79167751 https://blog.youkuaiyun.com/DF_XIAO/article/details/52838648CDH5.7配置kerberos身份认证+sentry权限管理

阿正的博客 487

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

【CDH数仓】Day02:业务数仓搭建、Kerberos安全认证+Sentry权限管理、集群性能测试及资源管理、邮件报警、数据备份、节点添加删除、CDH的卸载...

五、业务数仓搭建 1、业务数据生成 建库建表gmall 需求:生成日期2019年2月10日数据、订单1000个、用户200个、商品sku300个、删除原始数据。 CALL init_data('2019-02-10',1000,200,300,TRUE); 2、业务数据导入数仓 编写Sqoop定时导入脚本(目录中导入MySQL) 3、ODS层--原始数据层 订单表、订单详情表、商品表、用户表、...

USTSD的博客 793

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

hadoop权限控制之kerberos

cdh版本的hadoop在对数据安全上的处理通常采用Kerberos+Sentry的结构。 kerberos主要负责平台用户的权限管理,sentry则负责数据的权限管理。 下面我们来依次了解一下: Kerberos包含一个中心节点和若干从节点,所有节点的Kerberos认证信息都要与中心节点的规则配置文件/etc/krb5.conf保持一致。安全认证均需通过中心节点,配置了安全认证的用户可以登录...

qq_37243563的博客 936

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

CDH集群Sentry权限管理实战:从裸奔到精细化管控

在大数据平台中,Kerberos认证解决了身份鉴别问题,但授权管理仍需独立机制。Sentry作为CDH生态的集中式授权组件,通过角色-权限-对象三层模型,统一管理Hive、HDFS等组件的访问控制,并借助HDFS ACL同步实现物理层兜底。其技术价值在于消除权限孤岛,支持列级细粒度授权与审计追溯。典型应用场景包括多租户数据隔离、敏感表保护及合规审计。本文围绕Sentry在CDH集群中的配置流程、权限授予实操及常见陷阱展开,帮助运维人员构建可维护的权限体系。

weixin_29032337的博客 194

CDH6.3.2-组件安装&安全认证

CDH6.3.2-组件安装&安全认证

S1124654的博客 1936

星环大数据安全组件Guardian与hadoop自带的安全组件区别

在进行讲解之前,先带大家学习下hadoop关于hdfs自己的安全如何实现的--------------------------- 名词: ACL-访问控制列表(Access Control List,ACL) ARBAC-基于角色的权限访问控制(Role-Based Access Control) 所有安全体系的了解,大数据平台安全体系的四个层次说起:外围安全、数据安全、访问安全以及访问行...

weixin_30808693的博客 810

hadoop安全认证服务

cdh版本的hadoop在对数据安全上的处理采用了Kerberos+Sentry的结构。 kerberos主要负责平台用户的权限管理,sentry则负责数据的权限管理。 下面我们来依次了解一下: Kerberos包含一个中心节点和若干从节点,所有节点的Kerberos认证信息都要与中心节点的规则配置文件/etc/krb5.conf保持一致。安全认证均需通过中心节点,配置了安全认证的用户可以登录

wx740851326的博客 760
上一篇: hue: There are currently no roles defined
下一篇: centos7安装mysql问题
丶kino丶
博客等级 码龄10年 32粉丝 58原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值