Ranger源码编译(2)

本文详细介绍Ranger-usersync及HDFS-Plugin的安装配置过程,并解决常见错误,包括配置文件修改、依赖库设置及服务注册等步骤。

今天上班,接着昨天的工作继续往下安装

1.Ranger-usersync的安装配置

cp/opt/incubator-ranger/target/ranger-0.6.0-SNAPSHOT-usersync.tar.gz /opt/

cd /opt

tar –zxvf ranger-0.6.0-SNAPSHOT-usersync.tar.gz

cd ranger-0.6.0-SNAPSHOT-usersync

#打开usersync Plugin里install.properties文件,修改参数的值如下所示:

vi install.properties

POLICY_MGR_URL=http://localhost:6080

SYNC_SOURCE=unix

#同步周期,1分钟

SYNC_INTERVAL=1

logdir=/var/log/ranger/usersync

#安装usersync Plugin

./setup.sh

#启用usersync Plugin插件

./ranger­-usersync-services.sh start

2.HDFS-Plugin的安装配置

cp/opt/incubator-ranger/target/ranger-0.6.0-SNAPSHOT-hdfs-plugin.tar.gz /opt

cd /opt

tar –zxvf ranger-0.6.0-SNAPSHOT-hdfs-plugin.tar.gz

cd ranger-0.6.0-SNAPSHOT-hdfs-plugin

#打开HDFS Plugin里install.properties文件,修改参数的值如下所示:

vi install.properties

POLICY_MGR_URL=http://localhost:6080

SQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar

REPOSITORY_NAME=hadoopdev

XAAUDIT.DB.IS_ENABLED=true

XAAUDIT.DB.FLAVOUR=MYSQL

XAAUDIT.DB.HOSTNAME=localhost

XAAUDIT.DB.DATABASE_NAME=ranger_audit

XAAUDIT.DB.USER_NAME=root

XAAUDIT.DB.PASSWORD=root

#组件对应的用户,这里设置为空.一般Hadoop的内置用户是HDFS或则hadoop

CUSTOM_USER=root

CUSTOM_GROUP=root

#启用HDFS Plugin插件

[root@localhost ranger-0.5.0-hdfs-plugin]#./enable-hdfs-plugin.sh

出现以下错误:


:这里报错,需要额外将HADOOP的conf做个软连接到/root/hadoop/conf.

ln -s /opt/hadoop-2.7.2/etc/hadoop/  /opt/rangerplugins/hadoop/conf

之后出现了如下错误:


#这里需要将HDFS Plugin内的jar和HADOOP包含的HDFS jar都指向/root/hadoop/lib

cp /opt/ranger-0.6.0-SNAPSHOT-hdfs-plugin/lib/ranger-hdfs-plugin-impl/*.jar /opt/hadoop-2.7.2/share/hadoop/hdfs/lib/

mkdir /opt/hadoop/lib

ln -s /opt/hadoop-2.7.2/share/hadoop/hdfs/lib/ /opt/hadoop/lib/m

#再一次启用HDFS Plugin插件

[root@localhost ranger-0.5.0-hdfs-plugin]# ./enable-hdfs-plugin.sh

#验证HDFS Plugin服务,这时登录Ranger的管理员界面验证下HDFS plugin是够加载成功,发现并没有.

原因是安装HDFS plugin时install.properties文件里定义的REPOSITORY_NAME(值为hadoopdev)并未通过Ranger Admin在HDFS插件里的服务管理里注册成服务(名hadoopdev).

解决方案:

1 登录Ranger Adming

2 点击HDFS plugin的添加按钮


3 定义服务名为hadoopdev,提交其它信息后保存


注意上面的Username和Password为系统登录的用户名和密码(我这里也是ssh登录hadoop的用户名和密码)

Namenode URL 填的是hadoop目录下的etc/hadoop/core-site.xml文件中的

<name>fs.defaultFS</name>
<value>hdfs://mj1:9000</value>
</property>
上述value的值。
#再次验证HDFS plugin插件,则发现已经正常加载


注:

1 如果没有安装和开启Ranger-usersync服务的情况下直接测试HDFS赋权权限是不成功的.

2 Ranger Admin的日志文件见 /root/ranger-0.5.0-admin/ews/logs/xa_portal.log


内容概要:本文全面介绍了Ranger作为大数据生态系统中的集中式安全管理框架,兼具“安全卫士”与“性能引擎”的双重角色。文章从Ranger的基本概念入手,阐述其通过数据分片、负载均衡、高效传输与检索机制实现分布式存储与高性能访问的核心原理,并深入解析其由Master与Worker节点构成的体系结构、数据存储与同步算法,以及基于索引和哈希的快速检索机制。同时,对比了RangerHDFS、Alluxio、Elasticsearch等系统的异同,突出了其在权限管理、数据安全与性能优化方面的独特优势。文章还详细展示了Ranger在数据仓库、大数据分析、云原生存储等典型场景中的应用案例,说明其如何实现细粒度权限控制、审计追踪与系统性能提升。最后,涵盖了Ranger的安装配置流程、性能优化策略及监控手段,并展望了其在云原生融合、AI赋能、多源数据统一管理等方面的发展趋势。; 适合人群:具备一定大数据基础知识,从事数据平台建设、安全治理、系统运维或开发工作的技术人员,尤其是希望深入了解Ranger权限管理与分布式存储机制的工程师。; 使用场景及目标:①为大数据平台构建统一、细粒度的安全权限管理体系;②提升数据访问效率与系统可扩展性;③实现跨组件的集中审计与合规监管;④在云原生环境中集成安全存储方案。; 阅读建议:此资源不仅涵盖Ranger的技术原理与架构设计,还包括实操配置与性能调优方法,建议结合实际环境进行部署实践,重点关注权限策略配置、插件集成与监控指标分析,以全面掌握其在复杂大数据场景中的应用能力。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值