数据治理(十一):数据安全管理 Ranger 初步认识

Ranger从入门到精通以及案例实操系列 RangerUsersync作为Ranger提供的一个管理模块,可以将Linux机器上的用户和组信息同步到RangerAdmin的数据库中进行管理。Ranger Hive-plugin是Ranger对hive进行权限管理的插件。需要注意的是,Ranger Hive-plugin只能对使用jdbc方式访问hive的请求进行权限管理,hive-cli并不受限制。 阅读详情

数据安全管理 Ranger 初步认识

在大数据平台中,有海量数据存储,通畅在采集数据过程中敏感数据有意或者无意的进入大数据平台中,数据安全管理非常重要。我们不希望一些敏感数据被他人访问,希望可以按照一种规则给部分人访问权限,以防止数据泄露,针对数据安全管理可以使用 Apache Ranger 实现。

一、Ranger 介绍

Apache Ranger 提供一个集中式安全管理框架, 并解决授权和审计。它可以对 Hadoop 生态的组件如 HDFS、YARN、Hive、HBase 等进行细粒度的数据访问控制。通过 Ranger 统一的管理控制台界面,管理员可以轻松的通过配置策略来控制用户访问权限,并且可以对用户的行为日志进行统一的审计管理。

我们可以通过 Ranger 提供的 UI 界面或者 Rest API 来管理所有与安全性相关的任务,可以使用管理工具来对 Hadoop 体系中的组件进行授权。Ranger 优点如下:

  • 丰富的组件支持(HDFS,HBASE,HIVE,YARN,KAFKA,STORM)。

  • 提供了细粒度级权限控制(hive 列级别)。

  • 权限控制插件式,统一方便的策略管理。

  • 支持审计日志,记录各种操作的日志,提供统一的查询接口和界面。

  • 支持和 kerberos 的集成,提供了 Rest 接口供二次开发。

Ranger 官网:Apache Ranger – Introduction

二、Ranger 架构

Ranger 架构如下:

  • Ranger-admin:

Ranger 实现安全管理的核心就是 Ranger-admin,是一个 web 服务,对外提供 Restful 风格的 http 服务,内嵌了 jsp 界面,用于管理用户、资源、权限等信息。

  • Plugin:

 几乎所有的大数据组件都提供了抽象的验证接口,Ranger 就是根据这些接口为各个大数据组件实现了对应的 Plugin,有了这些 Plugin,Ranger 可以轻松实现对大数据组件权限控制访问,Plugin 的工作主要是从 Ranger-Admin 处拉取该组件配置的所有策略,然后缓存到本地,当有用户来请求时提供鉴权服务。

 

C C++最新数据治理(十五):Ranger管理Hive安全_hive ranger,C C++原生开发如何深入进阶 如果想要对连接Hive的用户进行表、列权限管理,需要在Ranger中添加对应的Hive服务,才可以使用Ranger通过这个服务配置每个用户对Hive库、表、列权限管理。向HDFS中插入数据时,user1,user2用户需要操作HDFS和Yarn,所以这里将HDFS中Hive对应的路径“/user/hive/warehouse”中的“/user”路径权限改成“777”,将Yarn使用目录“tmp”路径权限改成“777”注意:这里连接时,单机测试连接时需要等待一段时间,才能正常连接。 阅读详情

相关推荐

数据平台下的数据治理

数据治理并不是一个新的概念,但由于国内信息化起步较晚,这个话题直到最近几年才在国内各大公司中引起广泛讨论。数据治理具体是什么,我们真的需要数据治理吗?为了更清楚的了解数据治理是什么,我们先参考一下业界都是怎么说的。...

IDEAL Garden 527

Ranger 简介与安装

目录一、Ranger是什么1、Ranger介绍2、Ranger模块二、基于Ambari安装Ranger Apache Ranger目前是Apache下的顶级项目,目的是通过制定策略(policies)实现对Hadoop组件的集中式安全管理。用户可以通过Ranager实现对集群中数据的安全访问。 Ranger由三个模块组成:Ranger portal: 提供给用户进行安全管理的界面Ranger plugin: 嵌入在需要安全控制的组件进程中,提供两种功能:

康师傅没有眼泪 4771

数据治理(十五):Ranger管理Hive安全

访问Hive有两种方式:HiveServer2和Hive Client,Hive Client需要Hive和Hadoop的jar包,配置环境。HiveServer2使得连接Hive的Client从Yarn和HDFS集群中独立出来,不需要每个节点都配置Hive和Hadoop的jar包和一系列环境。 Ranger管理Hive权限只能针对HiveServer2 jdbc方式连接,所以这里需要配置HiveServer2。...

Lansonli(蓝深李)的博客 5474

大数据安全管理框架 Ranger 原理介绍

文章目录一、Ranger是什么二、Ranger的权限模型三、Ranger架构Ranger-adminPluginHive Plugin 授权流程四、一些思考1. 关于组件策略的缓存2. 插件类加载器的实现Java中的类加载器双亲委派类加载机制:五、总结 一、Ranger是什么 ranger大数据领域的一个集中式安全管理框架,它可以对诸如hdfs、hive、kafka、storm等组件进行细粒度的权...

u013332124的专栏 1万+

数据治理(十一):数据安全管理Ranger初步认识

目录 数据安全管理Ranger初步认识 一、Ranger介绍 二、Ranger架构 数据安全管理Ranger初步认识 在大数据平台中,有海量数据存储,通畅在采集数据过程中敏感数据有意或者无意的进入大数据平台中,数据安全管理非常重要。我们不希望一些敏感数据被他人访问,希望可以按照一种规则给部分人访问权限,以防止数据泄露,针对数据安全管理可以使用Apache Ranger实现。 一、​​​​​​​Ranger介绍 Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。它

Lansonli(蓝深李)的博客 3629

数据治理(十六):Ranger管理HDFS安全

目录 Ranger管理HDFS安全 一、安装“HDFS-Plugin”插件 1)将编译好的“ranger-2.1.0-hdfs-plugin.tar.gz”发送到node1节点,并解压 2)配置“install.properties”文件 3)执行“enable-hdfs-plugin.sh”开启“HDFS Plugin” 4)开启HDFS权限验证 5)重启HDFS 二、​​​​​​​验证HDFS权限控制 1)在Ranger中添加“HDFS Service”服务 2)在HDFS中创建测试

Lansonli(蓝深李)的博客 2212

权限管理Ranger详解

Apache Ranger是一个Hadoop平台上的全方位数据安全管理框架,它可以为整个Hadoop生态系统提供全面的安全管理。随着企业业务的拓展,企业可能在多用户环境中运行多个工作任务,这就需要一个可以对安全策略进行集中管理,配置和监控用户访问的框架。Ranger由此产生RangerUsersync作为Ranger提供的一个管理模块,可以将Linux机器上的用户和组信息同步到RangerAdmin的数据库中进行管理Ranger Hive-plugin是Ranger对hive进行权限管理的插件。

Shawn的个人博客 4490

数据治理(十三):Ranger安装与启动

目录 Ranger安装与启动 一、Ranger安装启动 1)将编译好的安装包发送到node1节点“/software”目录下,并解压 2)在node1节点上传mysql驱动包,在node2节点配置Mysql 3)在node1、node2、node3上启动Solr 4)编辑“install.properties”文件 5)执行“setup.sh”安装初始化Ranger 6)配置“conf/ranger-admin-site.xml”配置文件 7)启动Ranger服务 8)停止Range..

Lansonli(蓝深李)的博客 1985

数据治理(十五):Ranger 管理 Hive 安全

访问 Hive 有两种方式:HiveServer2 和 Hive Client,Hive Client 需要 Hive 和 Hadoop 的 jar 包,配置环境。HiveServer2 使得连接 Hive 的 Client 从 Yarn 和 HDFS 集群中独立出来,不需要每个节点都配置 Hive 和 Hadoop 的 jar 包和一系列环境。Ranger 管理 Hive 权限只能针对 HiveServer2 jdbc 方式连接,所以这里需要配置 HiveServer2。

wr_java的博客 877

数据治理(十四):Ranger同步Linux用户

同步Linux中的用户需要用到RangerUsersync模块,这个模块需要单独安装,主要可以将Linux机器上的用户和组信息同步到Ranger中管理。

Lansonli(蓝深李)的博客 3044

Ranger的扩展性与高可用性:探讨Ranger如何实现扩展性与高可用性

Ranger的扩展性与高可用性:探讨Ranger如何实现扩展性与高可用性 作者:禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.

AI天才研究院 1567

数据安全管理工具(Apache Ranger)

Apache Ranger提供全面的数据安全框架,专注于访问控制和数据脱敏,可管理跨各种数据平台的权限,定义谁可以访问特定数据,还能通过脱敏保护敏感信息,并且能与Apache Atlas等其他Apache工具无缝集成,增强数据治理。适用于需要严格访问控制和数据隐私保护的组织,尤其是处理敏感数据且需符合相关法规的企业。Apache Ranger是一个为Hadoop生态系统提供集中式安全管理和细粒度访问控制的开源项目。

weixin_43156294的博客 1067

Ranger与Flume生态系统的集成:探讨Ranger如何与Flume生态系统进行集成

Ranger与Flume生态系统的集成:探讨Ranger如何与Flume生态系统进行集成 作者:禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词: Hadoop

AI天才研究院 650

【数据治理】Apache Atlas元数据管理

为了增强可发现性和治理能力,Atlas 提供了一个业务分类界面,允许用户首先定义一组代表其业务域的业务术语,并将其与 Atlas 管理的元数据实体相关联。例如,将原始数据的 hive 表转换为存储某个聚合的另一个 hive 表的 ETL 过程可以是扩展过程类型的特定类型。在Atlas中查询某一个元数据对象时往往需要遍历图数据库中的多个顶点与边,相比关系型数据库直接查询一行数据要复杂的多,当然使用图数据库作为底层存储也存在它的优势,比如可以支持复杂的数据类型和更好的支持血缘数据的读写。

康师傅没有眼泪 1万+

格拉姆角场(GAF)实战:用Python实现时间序列图像化处理

本文深入解析了格拉姆角场(GAF)技术,这是一种将一维时间序列转化为二维图像特征的方法,以便利用卷积神经网络(CNN)等图像模型进行深度分析。文章通过Python实战代码,详细演示了GASF和GADF两种核心转换的实现过程,并探讨了其在时序数据分类任务中的应用,为故障预警、金融模式识别等场景提供了强大的图像驱动分析视角。

weixin_29079671的博客 273

TI C2000 , .cmd文件,.TI.ramfunc,将程序分配为在RAM中运行/Flash运行的配置方法和原理讲解,(如28375S ,280049,28335等等芯片)

1 基础知识讲解 1.1 在RAM中运行还是在flash中运行指的是什么? 1.1.1 背景:程序编译完之后生成的.bin文件,.bin文件中包含代码段,代码段中全是汇编指令,而汇编指令中包含多个函数,各函数头的地址不同,如存在A函数和B函数,假设RAM地址区间是0x0000-0x8000,flash的地址区间是0xA000-0xF000,A函数要调用B函数,则A函数调用B函数的那段汇编指令中包含的是B函数头的存储地址,A函数和B函数都在flash中有存储 1.1.2 情况1:B函数是配置为在RAM中运行,

weixin_43776284的博客 8065

元数据管理与数据治理平台:Apache Atlas 的简易授权器与Ranger授权器 Simple & Ranger Authorizer

Apache Atlas 框架是一套可扩展的核心基础治理服务,使企业能够有效、高效地满足 Hadoop 中的合规性要求,并支持与整个企业数据生态系统集成。

船长Q的博客 1157

12V INPUT电源电路设计中的关键保护机制解析【精简】

本文深入解析了12V INPUT电源电路设计中不可或缺的关键保护机制。针对常见的电源反接、过压及浪涌等风险,文章详细拆解了PMOS防反接、TVS过压钳位、OVP芯片关断以及快速断电电路等核心防护方案的设计原理、选型要点与实战优化技巧,旨在帮助工程师构建可靠、经济的电源前端防御体系。

weixin_29158047的博客 228

Hive权限管理深度解析:SQL标准授权与Apache Ranger/Sentry集成实战

在大数据技术快速演进的今天,Hive作为构建在Hadoop生态系统之上的数据仓库工具,持续在企业级数据平台中扮演着关键角色。它通过将结构化的数据文件映射为数据库表,并提供类SQL的查询功能(HiveQL),大大降低了大数据处理的技术门槛。无论是数据工程师进行ETL操作,还是数据分析师执行即席查询,Hive都已成为数据湖架构中不可或缺的组件。然而,随着数据规模的不断扩大以及多租户环境的普及,如何有效管理数据访问权限、确保数据安全合规,已成为企业必须面对的核心挑战。权限管理在Hive中的重要性不容忽视。

zuiyuelong的博客 1396

Argoverse2数据集保姆级导入教程:从下载到预处理全流程解析

本文详细解析了Argoverse2数据集的完整导入流程,从环境配置、数据下载到预处理和高效加载策略。作为自动驾驶领域的标杆数据集,Argoverse2提供多模态传感器数据和高精地图信息,帮助研究者快速搭建数据处理流水线。文章包含实用代码示例和性能优化技巧,特别适合自动驾驶算法开发者参考。

weixin_29035405的博客 332

Matlab并行运算

今天搞了一下matlab的并行计算,效果好的出乎我的意料。 本来CPU就是双核,不过以前一直注重算法,没注意并行计算的问题。今天为了在8核的dell服务器上跑程序才专门看了一下。本身写的程序就很容易实现并行化,因为beamline之间并没有考虑相互作用。等于可以拆成n个线程并行,要是有550核的话,估计1ms就算完了。。。 先转下网上找到的资料。 一、Matlab并行计算原理梗概 Matl

wenyusuran的专栏 1万+

Ranger 和 Ranger Audit 审计功能模块介绍

目录 一、Ranger 介绍 1、Ranger概念 2、权限模型 二、Ranger Aduit审计功能模块详解 1、Ambari 中 Ranger config 2、Ranger Audit 功能模块介绍 一、Ranger 介绍 1、Ranger概念 Ranger 使用了一种基于属性的方法定义和强制实施安全策略。当与 Apache Hadoop 的数据治理解决方案和元数据仓储组件Apache Atlas一起使用时,它可以定义一种基于标签的安全服务,通过使用标签对文件和数据资产进行分类,并

康师傅没有眼泪 6724

SAP 替代关系完全替代简介

这里产生了成品物料的计划订单,我们查看计划订单中BOM的变化,如下图可以看到物料的需求仍然落在了优先级为1的这个302300005555这个物料上面,并没有考虑到302300006666的这个库存,和我们理解的MRP的完全替代不一样,按我们的理解需求应该是要落在302300006666这个物料料,但是MRP计算后并没有这样进行分配。最近用户在对长周期物料进行备料的时候又提出替代料的问题,主料库存不足的时候需要考虑替代料的在途库存,经常会忘了SAP标准的替代料逻辑,这次一次性把这个逻辑写清楚。

我小时候很黑的博客 1740

数据治理之安全管理:Apache Ranger

Sentry 曾是 Cloudera 主推的授权框架,从 CDH 6.x 起已被 Ranger 取代,最后一次 Apache 发布停留于 2018 年。基于角色的授权:将权限授予角色,再将角色赋给用户/组,支持SELECTINSERTALL等操作。资源模型:仅支持层次化资源,如。支持组件:Hive、Impala、Solr(不支持 HDFS、Kafka、YARN 等)。策略管理:没有 Web UI,策略通过配置文件()或 SQL 命令(GRANT)管理,不够直观。无脱敏/行过滤:不提供数据遮蔽和行级过滤能力。

qq_37771475的博客 507

ESP32-C3入门教程 基础篇⑩——SNTP(Simple Network Time Protocol) 网络时间同步的简单实例

ESP32-C3入门教程 基础篇⑩——SNTP(Simple Network Time Protocol) 网络时间同步的简单实例

1589

基于MATLAB的脑功能网络工具箱:BCT与FCLab

脑功能网络分析是神经科学领域的一个重要研究方向,它通过分析大脑中神经元之间的连接模式和信息传递方式,揭示脑网络的结构和功能。在这个领域,MATLAB是一个广泛使用的工具,提供了丰富的函数和工具箱来进行脑功能网络的分析和可视化。这些工具箱提供了丰富的函数和工具,使得脑功能网络的计算和分析变得更加简单和高效。在上述示例代码中,我们首先导入BCT工具箱,并构建一个邻接矩阵来表示脑网络的连接关系。在上述示例代码中,我们首先导入FCLab工具箱,并导入脑功能数据。函数对数据进行预处理,如去除噪声、降采样等操作。

web_bug407的博客 2608
上一篇: 数据治理(八):Atlas 集成 Hive
下一篇: 数据治理(十五):Ranger 管理 Hive 安全
wrr-cat
博客等级 码龄9年 128粉丝 302原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值