Ranger功能验证

Apache Ranger功能验证

1、概况

1.1、Apache Ambari

Apache Ambari 是一个基于 Web 的 Apache Hadoop 集群的供应、管理和监控。Ambari 目前已支持大多数 Hadoop 组件,包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop 和 Hcatalog 等。

在这里插入图片描述

1.2、Ranger支持的插件

在这里插入图片描述

2、功能验证

2.1、hive用户配置过滤策略

在这里插入图片描述

2.2、使用hive用户查询过滤结果

在这里插入图片描述

2.3、hive用户配置脱敏策略

在这里插入图片描述

2.4、使用hive用户查询脱敏结果

在这里插入图片描述

2.5、zhangsan用户配置脱敏策略

在这里插入图片描述

2.6、使用zhangsan用户查询脱敏结果

在这里插入图片描述

3、Ranger集成Presto

3.1、Presto概述

Presto是大数据场景中常用的查询引擎,其采用master- slave架构,支持跨数据源类型查询,支持动态横向扩展,采用了内存并行处理、跨集群节点管线执行、多线程执行模型、高效的扁平内存数据结构、Java字节码生成等技术,来完成分布式数据查询和处理。现已广泛应用于OLAP场景。

3.2、Presto计算引擎架构

在这里插入图片描述

3.3、Ranger集成Presto

在这里插入图片描述

3.4、公司现状

1、Apache Ambari 2.7.4支持的Ranger版本为1.2,不支持Presto插件。只有升级Ranger 2.X版本才支持Presto,升级会有成本。

2、使用Ranger脱敏后的数据,提供接口服务,会导致Hive连接压力过大的问题。使用连接池的话,会有开发成本。

3.5、解决方案(建议)

1、选择Apache Doris

在这里插入图片描述

2、易用性

采用MySQL协议和语法,可以通过各类客户端工具来访问,能过与BI工具无缝对接;

支持多表join,针对不同场景join提供了多种优化方案;

生态扩展完善,离线数据的高效批量导入,流式数据的低延迟实时导入都有很好的支持;

简洁的分布式架构,只有FE、BE两个进程,运行不依赖任何第三方系统;

支持弹性伸缩,对于部署、运维非常友好;

3、性能

MPP架构、高效列式存储引擎;

支持数据的预聚合以及预聚合结果的自动更新;

支持数据的实时更新;

3、性能

MPP架构、高效列式存储引擎;

支持数据的预聚合以及预聚合结果的自动更新;

支持数据的实时更新;

支持高并发查询;

### 关于 Apache Ranger 的官方文档及教程 Apache Ranger 是一种强大的访问控制框架,用于大数据平台的安全管理和数据保护。以下是关于其官方文档和教程的信息: #### 官方网站与下载地址 Apache Ranger 的官方网站提供了丰富的资源和支持信息。可以通过以下链接获取最新版本的软件以及相关资料: - **官网**: [https://ranger.apache.org/](https://ranger.apache.org/) - **下载页面**: [https://ranger.apache.org/download.html](https://ranger.apache.org/download.html)[^1] 当前最新版本为 2.4.0(截至引用时间),用户可以根据需求从上述下载页面获取适合的操作系统包。 #### 安装指南 对于希望快速部署 Apache Ranger 的用户,可以参考官方提供的安装手册。该手册详细描述了如何从源码构建并运行 Ranger 系统的过程: - **安装手册**: [https://cwiki.apache.org/confluence/display/RANGER/Running+Apache+Ranger±++%5BFrom+source%5D+in+minutes](https://cwiki.apache.org/confluence/display/RANGER/Running+Apache+Ranger±++%5BFrom+source%5D+in+minutes) 此文档涵盖了环境准备、依赖项安装、编译过程以及启动服务的具体步骤。 #### 配置与管理 完成基础安装后,可通过 Ranger 管理员界面执行进一步操作,例如定义策略、分配角色和设置权限等。具体配置流程可参照官方文档中的说明部分[^2]。此外,在实际应用中可能还需要集成 Kerberos 或 LDAP 来增强身份验证功能。 #### Key Management Service (KMS) 如果计划使用加密密钥来加强敏感数据防护,则需额外关注 KMS 组件的功能实现方式。下面展示了一个简单的命令实例用来创建新密钥及其查询方法[^3]: ```bash # 创建名为 'key1' 的 AES 密钥 curl -i -v -s --negotiate -u: http://henghe38:9292/kms/v1/keys \ -H "Content-Type: application/json" -X POST -d '{"length": 128,"cipher": "AES/CTR/NoPadding","name": "key1","description": "","attributes": {}}' # 查看已存在的密钥名称列表 curl -i -v -s --negotiate -u: "http://192.168.103.138:9292/kms/v1/keys/names" # 列出 Hadoop 中可用的所有密钥元数据 hadoop key list -metadata -provider "kms://http@henghe38;henghe39:9292/kms" ``` 以上脚本展示了通过 REST API 和 CLI 工具交互的方式来进行密钥生命周期管理活动。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值