2个CDH 使用一个kerberos 和 LDAP

原创 已于 2024-04-01 16:10:04 修改 · 361 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#cloudera #大数据 #hdfs

于 2024-04-01 16:09:31 首次发布

集群说明：
【SSD集群1】
10.129.168.80
10.129.168.156
10.129.165.105
10.129.69.251

【SSD集群2】
10.129.160.24
10.129.160.13
10.129.160.46

开启认证CM的认证配置截屏，KDC server保持一致
在这里插入图片描述
可以在kerberos服务器查询所有的认证内容，筛选选其他hdfs相关的认证信息看到2个集群机器都在

[bx-16:06:13root@a2-test-kerberos-8-33 /root]
#kadmin.local -q "list_principals" | grep hdfs | grep data
hdfs/a2-test-datanode-16-20.sh@hadoop.com
hdfs/a2-test-datanode-16-21.sh@hadoop.com
hdfs/a2-test-datanode-16-22.sh@hadoop.com
hdfs/a2-test-datanode-20-14.sh@hadoop.com
hdfs/a2-test-datanode-20-17.sh@hadoop.com
hdfs/a2-test-datanode-32-34.sh@hadoop.com
hdfs/a2-test-datanode-64-154.sh@hadoop.com
hdfs/a2-test-datanode-vm-66-156.sh@hadoop.com
hdfs/b2-cm-datanode-22-220.sh@hadoop.com
hdfs/b2-test-datanode-18-244.sh@hadoop.com
hdfs/b2-test-datanode-22-151.sh@hadoop.com
hdfs/b2-test-datanode-22-63.sh@hadoop.com

（1）分别在2个集群服务器上查看认证kerberos和查询用户正常使用
SSD1集群

#id risk_user1                                                                                                                                                            
uid=90002(risk_user1) gid=30002(pt_group) groups=30002(pt_group)                                                                                                          
[bx-11:02:41root@a2-prod-buffer-165-105 /home/admin]                                                                                                                      
#/usr/bin/kinit -k -t /home/admin/hadoop.keytab hadoop/admin                                                                                                              
[bx-11:03:28root@a2-prod-buffer-165-105 /home/admin]                                                                                                                      
#klist                                                                                                                                                                    
Ticket cache: FILE:/home/admin/cache_file/krb5cc_0                                                                                                                        
Default principal: hadoop/admin@hadoop.com                                                                                                                                
                                                                                                                                                                            
Valid starting       Expires              Service principal                                                                                                               
03/22/2024 11:03:28  03/23/2024 11:03:28  krbtgt/hadoop.com@hadoop.com                                                                                                    
        renew until 03/29/2024 11:03:28                                                                                                                                   
[bx-11:03:30root@a2-prod-buffer-165-105 /home/admin]                                                                                                                      
#hadoop fs -ls /                                                                                                                                                          
Found 3 items                                                                                                                                                             
drwxr-xr-x   - hadoop supergroup          0 2024-03-19 16:30 /system                                                                                                      
drwxrwxrwt   - hdfs   supergroup          0 2024-03-14 10:07 /tmp                                                                                                         
drwxr-xr-x   - hdfs   supergroup          0 2024-03-14 15:40 /user                                                                                                        
[bx-11:03:37root@a2-prod-buffer-165-105 /home/admin]                                                                                                                      
#hive                                                                                                                                                                     
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0                                                                   
2024-03-22 11:04:55,315 WARN  [main] mapreduce.TableMapReduceUtil: The hbase-prefix-tree module jar containing PrefixTreeCodec is not present.  Continuing without it.    
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; supp
最低0.47元/天 解锁文章
clear_soul
关注
CDH集成LDAP配置
qxf1374268的博客
02-13 5591
转载自JavaChen Blog，作者：JavaChen 原文链接地址：http://blog.javachen.com/2014/11/12/config-ldap-with-kerberos-in-cdh-hadoop.html 参考上面基本配置，添加了部分配置 本文主要记录 cdh hadoop 集群集成 ldap 的过程，这里 ldap 安装的是 OpenLDAP 。LD...
Hadoop配置LDAP集成Kerberos
a118170653的专栏
02-03 5080
本文主要记录 cdh hadoop 集群集成 ldap 的过程，这里 ldap 安装的是 OpenLDAP 。LDAP 用来做账号管理，Kerberos作为认证。授权一般来说是由应用来决定的，通过在 LDAP 数据库中配置一些属性可以让应用程序来进行授权判断。 关于 Kerberos 的安装和 HDFS 配置 kerberos 认证，请参考 HDFS配置kerberos认证。 参考 使
CDH安装配置LDAP
huguoping830623的专栏
05-09 3037
安装OpenLDAP 安装机器：slave-04 1 安装openldap yum install -y openldap openldap-servers openldap-clients 2 修改配置文件  cp /usr/share/openldap-servers/slapd.conf.obsolete /etc/openldap/slapd.conf  cp
ldap-CDH官网
DCHAO的博客
07-22 530
CDH官网-配置ldap组映射 Each host that comprises a node in a Cloudera cluster runs an operating system, such as CentOS or Oracle Linux. At the OS-level, there are user:group accounts created during installation that map to the services running on that specific nod
CDH集群离线搭建(适用内网)——LDAP安装和配置⑪
M_red的博客
03-14 976
【代码】CDH集群离线搭建(适用内网)——LDAP安装和配置⑪。
CDH6.3.2 配置LDAP+kerberos
h952520296的博客
04-08 2800
本文主要记录 cdhhadoop集群集成 ldap 的过程，这里 ldap 安装的是 OpenLDAP 。LDAP 用来做账号管理，Kerberos作为认证。授权一般由Sentry来决定的。 集群包括7个节点，每个节点的ip、主机名和部署的组件分配如下： 192.168.0.200 master Kerberos KDC 、OpenLDAP 192.168.0.201 slave1 kerberos client、ldap client 192.168.0.202 s..
CDH6 配置LDAP，Kerberos，Sentry
weixin_40004348的博客
10-14 2840
CDH6 配置LDAP，Kerberos，Sentry 1. 开启Sentry 控制Hive，Hue，Impala权限 1.1 在mysql中配置数据库 [root@cdh1 ~]# mysql -uroot -p //登陆mysql mysql> CREATE DATABASE sentry DEFAULT CHARACTER SET utf8; //创建sentry库 mysql> grant all on sentry.* to 'sentry'@'%' identified
CDH集群启用Sentry Kerberos LDAP
小陌成长之路
04-14 866
CDH集群启用Sentry Kerberos LDAP
CDH6.3.2集群部署4—Kerberos使用
一点见解
05-14 719
目录示例一:HIVE对接Kerberos配置1.为用户HIVE向Kerberos注册账号（Principal）2.生成密钥文件2.用户认证，执行以下命令，并输入密码，完成认证 示例一:HIVE对接Kerberos配置 1.为用户HIVE向Kerberos注册账号（Principal） kadmin.local -q "addprinc hive/hive" 2.生成密钥文件 #创建密钥文件目录 mkdir /var/keytab #生成密钥文件hive.keytab kadmin.local -q "x
CDH
mark's technic world
02-16 1415
/usr/share/cmf/uninstall-cloudera-manager.sh
LDAP及CDH中服务的权限认证
Yore - Home
04-19 5624
主要对 LDAP 进行了介绍，重点选择 OpenLDAP进行了说明，重点是对 OpenLDAP的安装与配置进行了详细的说明。最后再将 LDAP 与 CDH 环境集成（主要以 Hive、Impala、Hue为例）。开启了LDAP 后对服务访问就需要加上用户认证，之后重点介绍了Hive、Impala的 JDBC、Beeline、脚本形式的使用，重点关注 Impala-shell 如何脚本化执行 sql 文件，最后重点注意在 Spring Boot 中访问 Impala时的几个注意点。
cdh集成ldap
weixin_38655836的博客
05-05 5131
主要参考的服务的网址： 经过测试，如果根据腾讯云中的这个文档中的指示，把hiveadmin当成是hive的超级用户的话，会出现sentry赋权有问题的情况（那个hue中的加号（添加role）出不来），所以后面出现hiveadmin用户的情况，这里后面都需要变成hive，就可以了 03-Active Directory的使用与验证： https://mp.weixin.qq.com/s?__biz=...
两个cdh集群配置kerberos互通
qq_37684481的博客
06-19 1382
1 配置KDC之间的信任ticket 两个域分别登录kadmin.local，分别执行下面的语句创建principal kadmin.local: addprinc -e "aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal des-hmac-sha1:normal des-cbc-md5:n...
大数据与数据仓库入门到精通
09-20
本课程以CDH作为大数据平台，详细介绍CDH平台各个组件在生产环境的应用及开发，并结合实际的业务场景，离线数仓，实时数仓，构建企业核心的数据架构。在实际的工作当中，大数据架构，运维或者开发人员会与多个公司团队合作，ETL团队，爬虫团队，算法团队，运营团队等等，指导大家如何与个个团队打交道，提升工作效率。减少团队之间不愉快的沟通。希望学习者最好从事过数据库相关工作，有一些 JAVA开发基础，或者有其他工作经验，想学习大数据及数据仓库的同学，对于没有工作经验，或者对开发，数据完全小白的同学，建议先了解相关知识再学习。本课程的宗旨只有一条，任何学习完本课程的同学，都能熟悉企业主流的数据架构，都有能力维护一个中等HADOOP集群，也就是1P左右的数据的集群或者多个集群。
Cloudera Manager 配置 LDAP - 通过搜索绑定实现用户和组的映射
跟着大数据和AI去旅行
01-26 4077
直接绑定和搜索绑定 因为使用直接绑定方式，会导致集群无法被多个团队的多个角色混用。举个例子，我们有这样的场景： 用户 a1 属于组 A，组 A 对应 Sentry 中的 dev 角色； 用户 a2 属于组 A，组 A 对应 Sentry 中的 dev 角色； 用户 b1 属于组 B，组 B 对应 Sentry 中的 ops 角色； 用户 b2 属于组 B，组 B 对应 Sentry 中的 o
Cloudera CDH 5.1版本的Hive与LDAP-2.4.44集成
九师兄
07-04 723
看图：参考：https://blog.youkuaiyun.com/qq_21383435/article/details/83383674。参考：https://blog.youkuaiyun.com/qq_21383435/article/details/83313824。LDAP BaseDN填写的是具体用户的上一级，意思是属于people组的人都可以(以不同的用户名密码)登录hive。我们试试一个不存在LDAP中的用户试试,可以看到不能登录。可以看到我们输入LDAP配置的用户密码是可以登陆的。然后重启过时的服务。
LDAP安装
wangxiaofei2006的专栏
06-11 1201
                                     LDAP安装   1、安装cyrus ：从http://ftp.andrew.cmu.edu/pub/cyrus-mail/下载cyrus-sasl-2.1.21.tar.gz  tar -zxvf cyrus-sasl-2.1.19.tar.gzcd cyrus-sasl-2.1.21./configuremakema
HiveServer2 中如何配置 LDAP 认证和HiveServer2 使用 Kerberos 认证 ，那种方式配置简单
最新发布
07-22
### 配置 HiveServer2 使用 LDAP 认证 HiveServer2 支持通过 LDAP 实现用户认证，适用于需要集中管理用户身份的场景。配置过程中需要在 `hive-site.xml` 文件中指定 LDAP 相关参数，包括认证方式、LDAP 服务器地址...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值