Linux7 下Hadoop集群用户管理方案之三 用户认证组件Kerberos安装

Kerberos在linux安装部署 kerberos在linux环境安装部署 参考博客: https://zhuanlan.zhihu.com/p/425769862 https://blog.csdn.net/Michaelwubo/article/details/109621044 阅读详情
Kerberos 协议
Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务,即SSO(Single Sign On)。由于在每个Client和Service之间建立了共享密钥,使得该协议具有相当的安全性。

Kerberos安装
1 使用的节点

10.10.106.156  edu-bigdata-01.novalocal
10.10.106.157 edu-bigdata-02.novalocal
10.10.106.158 edu-bigdata-03.novalocal

2 配置Kerberos Server
2.1 配置DNS。局域网即 /etc/hosts 配置

echo '10.10.106.156   edu-bigdata-01.novalocal' > /etc/hosts
echo '10.10.106.157   edu-bigdata-02.novalocal' >> /etc/hosts
echo '10.10.106.158   edu-bigdata-03.novalocal' >> /etc/hosts
echo '127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4' >> /etc/hosts
echo '::1         localhost localhost.localdomain localhost6 localhost6.localdomain6' >> /etc/hosts


2.2 在156上安装  KDC。即Kerberos Server服务。

yum install krb5-server krb5-libs krb5-auth-dialog

KDC的主机必须非常自身安全,一般该主机只运行KDC程序。
安装成功后会生成配置文件  /etc/krb5.conf    /var/kerberos/krb5kdc/kdc.conf  /var/kerberos/krb5kdc/kadmin.conf等。

2.3 配置kdc.conf
默认放在  /var/kerberos/krb5kdc/kdc.conf,或者通过配置修改。
# vi /var/kerberos/krb5kdc/kdc.conf

[kdcdefaults]
kdc_ports = 88
kdc_tcp_ports = 88
[realms]
HADOOP.COM = {
#master_key_type = aes256-cts
acl_file = /var/kerberos/krb5kdc/kadm5.acl
dict_file = /usr/share/dict/words
admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
max_renewable_life = 7d
supported_enctypes = aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal
}

HADOOP.COM:是设定的realms。名字随意。Kerberos可以支持多个realms,会增加复杂度。本文不探讨。大小写敏感,一般为了识别使用全部大写。这个realms跟机器的host没有大关系。

2.4 配置krb5.conf
/etc/krb5.conf: 包含Kerberos的配置信息。例如,KDC的位置,Kerberos的admin的realms 等。需要所有使用的Kerberos的机器上的配置文件都同步。这里仅列举需要的基本配置。
# vi /var/kerberos/krb5kdc/kdc.conf

[libdefaults]
default_realm = HADOOP.COM
dns_lookup_kdc = false
dns_lookup_realm = false
ticket_lifetime = 86400
renew_lifetime = 604800
forwardable = true
default_tgs_enctypes = aes128-cts
default_tkt_enctypes = aes128-cts
permitted_enctypes = aes128-cts
udp_preference_limit = 1
kdc_timeout = 3000
[realms]
HADOOP.COM = {
kdc =  edu-bigdata-01.novalocal
admin_server =  edu-bigdata-01.novalocal
}

default_realm = HADOOP.COM 默认的realm,必须跟要配置的realm的名称一致。
[realms]:列举使用的realm。
kdc:代表要kdc的位置。格式是 机器:端口  因为配置了hosts  可以使用 edu-bigdata-01.novalocal
admin_server:代表admin的位置。格式是机器:端口
default_domain:代表默认的域名
2.5 创建/初始化Kerberos database
# /usr/sbin/kdb5_util create -s -r HADOOP.COM
其中,[-s]表示生成stash file,并在其中存储master server key(krb5kdc);
还可以用[-r]来指定一个realm name ―― 当krb5.conf中定义了多个realm时才是必要的。
# 保存路径为/var/kerberos/krb5kdc 如果需要重建数据库,将该目录下的principal相关的文件删除即可

当Kerberos database创建好后,可以看到目录 /var/kerberos/krb5kdc 下生成了几个文件:

kadm5.acl
kdc.conf
principal
principal.kadm5
principal.kadm5.lock
principal.ok

2.6 添加database administrator
我们需要为Kerberos database添加administrative principals (即能够管理database的principals) ―― 至少要添加1个principal来使得Kerberos的管理进程kadmind能够在网络上与程序kadmin进行通讯。
在master KDC上执行

# /usr/sbin/kadmin.local -q "addprinc admin/admin"

并设置密码
raysdata

2.7 为database administrator设置ACL权限
在KDC上我们需要编辑acl文件来设置权限,该acl文件的默认路径是 /var/kerberos/krb5kdc/kadm5.acl(也可以在文件kdc.conf中修改)。Kerberos的kadmind daemon会使用该文件来管理对Kerberos database的访问权限。对于那些可能会对pincipal产生影响的操作,acl文件也能控制哪些principal能操作哪些其他pricipals。

将文件/var/kerberos/krb5kdc/kadm5.acl的内容编辑为


*/admin@HADOOP.COM *
 
代表名称匹配 */admin@HADOOP.COM 都认为是admin,权限是 *。代表全部权限。
这里注意  HADOOP.COM *  M与*中间使用一个空格。否则没法识别配置。导致没有权限的异常。

2.8 在master KDC启动Kerberos daemons

# service krb5kdc start
# service kadmin start

设置开机自动启动:

# chkconfig krb5kdc on
# chkconfig kadmin on

现在KDC已经在工作了。这两个daemons将会在后台运行,可以查看它们的日志文件(/var/log/krb5kdc.log 和 /var/log/kadmind.log)。

可以通过命令kinit来检查这两个daemons是否正常工作。

2.9关于AES-256加密
使用 centos5. 6及以上的系统,默认使用 AES-256 来加密的。这就需要集群中的所有节点上安装 Java Cryptography Extension (JCE) Unlimited Strength Jurisdiction Policy File。
下载的文件是一个 zip 包,解开后,将里面的两个文件放到下面的目录中:$JAVA_HOME/jre/lib/security
下载地址:


3 配置Kerberos Client

3.1 在client机器上安装

yum install krb5-workstation krb5-libs krb5-auth-dialog

3.2 配置krb5.conf
配置  /etc/krb5.conf
与KDC 上的/etc/krb5.conf 内容一样。



Kerberos操作

登陆
在KDC使用 kadmin.local
在其他client是用 kadmin


账户增删改查
添加:add_principal -randkey shihy@HADOOP.COM   // 随机密码 
删除:delprinc  shihy@HADOOP.COM
查询: list_principal
生成keytab:xst -k shihy.keytab shihy@HADOOP.COM  // 在当前目录生成keytab
登陆:kinit -kt shihy.keytab shihy@HADOOP.COM   // 使用keytab登陆
删除认证缓存 :kdestory
查看当前认证:klist







学术报告系列(二) - 智能自主作业机器人感知与控制技术及发展趋势 收集整理于2022年模式识别高峰论坛湖南大学王耀南院士报告(报名题目:智能自主作业机器人感知与控制技术及发展趋势) 阅读详情

相关推荐

python k线顶分型_【缠论】分型、笔的定义及其程序化

K线包含关系处理和分型的定义如果一个K线的高低点全在另一K线的范围里,称之为包含关系。针对这种K线,需要进行一些处理,去除包含关系,处理方法:向上时,把两K线的高点当高点,而两K线低点中的较高者当成低点;反之,当向下时,把两K线的低点当低点,而两K线高点中的较低者当成高点,这样就把两K线合并成一新的K线。经过这样的处理,所有K线图都可以处理成没有包含关系的图形。两K线的包含关系,可以分成四种:1)...

weixin_39717152的博客 2824

ssh免密登陆

服务器使用公钥对用户发来的加密字符串进行解密,得到的解密字符串如果与第一步中发送给客户端的随机字符串一样,那么判断为登录成功。ssh密钥登录比密码登录安全,主要是因为他使用了非对称加密,登录过程中需要用到密钥对。用户收到远程服务器发来的字符串,使用与远程服务器公钥配对的私钥对字符串进行加密,再发送给远程服务器。远程服务器持有公钥,当有用户进行登录,服务器就会随机生成一串字符串,然后发送给正在进行登录的用户。上传到OpenStack后,主机名会自动添加.novalocal后缀,导致免密登录失效。

Pythonwudud的博客 1933

饥荒Mod 开发(二):Mod目录结构

饥荒中的每个Mod 都有一些固定的目录结构,各个目录的放着不同类型的文件。动画,图片,源代码等。我们最好是遵守Mod 开发中的各个目录结构,我用的是WeGame 安装的饥荒游戏,Mod 目录如下,这个目录下保存所有订阅的Mod。

小乖写代码 4629

Hadoop安全之Kerberos

Hadoop安全之Kerberos

S1124654的博客 4167

Mac本地大模型实战指南:Ollama+Metal+Apple Silicon深度优化

大语言模型(LLM)本地化部署正成为开发者关键技术能力,其核心在于推理效率、硬件适配与成本控制。Apple Silicon凭借统一内存架构(UMA)和Neural Engine,为本地LLM运行提供了独特优势;Metal加速则显著提升GPU计算吞吐,使Gemma 4、Qwen 3.5等模型在M系列Mac上实现低延迟、高精度、离线可用的工程落地。相比云端API,本地方案规避了token计费、网络依赖与数据外泄风险,特别适用于企业文档处理、实时语音分析、私有知识库检索等强隐私、低时延场景。本文聚焦Mac平台,系

weixin_33443333的博客 352

51单片机定时器的原理、应用与编程实现

本文系统介绍了51单片机定时器的基本原理与应用。首先阐述了定时器的工作原理,包括定时模式和计数模式的区别。然后详细讲解了定时器的四种工作模式(方式0-方式3)及其适用场景,并分析了相关寄存器(TMOD、TCON、THx/TLx)的功能设置。文章还给出了定时器编程的具体步骤,包括初始化、计数初值计算和示例代码。最后通过LED闪烁、PWM波形产生、脉冲计数等实际应用案例,展示了定时器的多样化应用。掌握这些知识对嵌入式系统开发具有重要意义。

2501_91227323的博客 1523

linux ssh出现问题

报错:java.net.UnknownHostException: centos1.novalocal: centos1.novalocal ,这是dns解析出错,不认识centos1.novalocal这个主机名 修改/etc/hosts文件 如果这个主机名是本机的名称,则添加 127.0.0.1 主机名 localhost.localdomain localhost 或是再添加一条

CottonDuke的博客 2102

编译hive-3.1.3(3.0.0)和编译tez-0.10.2适配hadoop-3.3.4以及hadoop-3.2.2(附安装包)

编译hive-3.1.3(3.0.0)和编译tez-0.10.2适配hadoop-3.3.4以及hadoop-3.2.2(附安装包)

2301_77356579的博客 2599

Cloudera集群运维-关于kerberos加密算法的配置梳理

TKT,即票据授予票据,可以形象地比喻为一把“万能钥匙”。在Kerberos认证系统中,当你(作为客户端)想要访问某个服务(如服务器上的某个文件或数据库)时,你首先需要向Kerberos认证中心(Key Distribution Center, KDC)证明你的身份。这个属性对于Kerberos认证过程尤为重要,因为它决定了在AD环境中,哪些加密类型可以被用于票据(ticket)的加密和会话密钥的生成。当你(持有TKT的客户端)来到这个中心,并请求访问某个特定服务的权限时,TGS会检查你的TKT是否有效。

罗仲虎的博客 1430

【华为OD机试真题 新系统】1009、企业内部门的最大层级 | 机试真题+思路参考+代码解析(C++、Java、Py、C语言、JS)

【华为OD机试真题 新系统】1009、企业内部门的最大层级 | 机试真题+思路参考+代码解析(C++、Java、Py、C语言、JS) 华为od机试,华为od机试真题,华为od机试E卷,华为odE卷,华为od机试真题E卷,华为OD,华为OD机试,华为OD机试真题,华为od机考,华为od机试D卷,华为od机试真题D卷,华为od手撕代码,华为od,华为od机试C卷,华为od e卷,华为2026e卷,od机试,2026E卷,华为OD机试E卷,什么是华为od,华为od介绍,全面了解华为od,2026华为od,如何备战

KJ.JK 1416

AI Agent的知识蒸馏链:多阶段LLM模型优化

随着大语言模型(LLM)规模的不断扩大,如何在保持模型性能的同时提高其部署效率成为关键挑战。本文旨在探讨通过知识蒸馏技术构建多阶段优化链,实现LLM模型的高效压缩和性能优化。研究范围涵盖从基础理论到实际应用的完整知识蒸馏流程,特别关注AI Agent场景下的特殊需求和解决方案。本文首先介绍知识蒸馏的基本概念和背景,然后详细阐述多阶段蒸馏链的核心原理。接着,我们将深入探讨算法实现细节和数学模型,提供完整的代码示例。最后讨论实际应用、工具资源和未来发展方向。

AI大模型应用之禅 351

数据库笔记1

安全 输入参数用grep来做判断的话,有个坑,就是因为grep只要有一行匹配,就会返回匹配,所以用grep来判断输入参数会被人家用多行参数来绕过。最好还是使用==或者~=来进行判断。 事务 ACID代表atomic,consistency,isolation,durable.其中一致性和可持续性是必然要保证的,然后使用事务一般是为了使用它的原子性,然后配置隔离性是为了在使用事务时能有最好的性能。 ...

freshrookie的博客 335

EMC基础知识总结

电磁干扰(Electromagnetic Interference),简称EMI,有和两种。传导干扰主要是电子设备产生的干扰信号通过导电介质或公共电源线互相产生干扰;辐射干扰是指电子设备产生的干扰信号通过空间耦合把干扰信号传给另一个电网络或电子设备。

学海无涯的专栏 1368

Linux7 下Hadoop集群用户管理方案之五 安装Hadoop集群遇到的坑

自己在安装时候遇到的一部分的坑。 密码都不能用了。。 难道是因为。。改了kdc.conf?? 从ip改成端口了 PS。这个还没有解决。。Kerberos创建用户,创建的用户密码过期之后不可用的问题。Kerberos还没有完全吃透,还没解决。 /opt/cm-5.9.0/share/cmf/bin/gen_credentials.sh fail

记录,学习。 8049

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Linux7 下Hadoop集群用户管理方案之四 CDH集成Kerberos

CM 开启Kerberos  认证 在CM上使用Kerberos认证,它会帮我们创建所有的需要的Kerberos账户,并且在启动的时候自动生成keytab存放到对应的启动目录,在配置文件中添加对应的keytab文件配置和用户名。 所以,只需要给CM创建一个拥有管理员权限的账户。CM就能够完成大部分的初始化工作。 首先添加一个管理员用户 Kadmin.local:

记录,学习。 1671

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Linux7 下Hadoop集群用户管理方案之一 用户管理集群方案概述

分为几个步骤 方案调研CM的部署Kerberos的安装与集成方案的实践 实现添加用户功能 第一部分:方案的调研与确认 需要做一个大数据教育平台,面向学校,培训机构等,可以基于同一个大数据基础环境,学生可以进行大数据实践,而不需要复杂的搭建过程。 HDFS章节: 想做到这一点,不可避免的就是数据隔离的问题,文件不能被互删,只能读取自己的文件,这是我们首要面临的问

记录,学习。 1077

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Linux kerberos安装

Linux kerberos安装一,节点规划。二,安装配置server。2.1 修改kdc配置文件:2.2 修改kadmin访问控制文件:2.3修改krb5配置文件:2.4创建realm2.5 开启krb5kdc和kadmin服务,并设置开机启动2.6 添加kerberos用户生产keytab文件三 ,客户端安装及验证。 一,节点规划。 节点 角色 hdp001.edu.org server,client hdp002.edu.org client hdp003.edu.org cl

weixin_43172032的博客 2748

java调试Kerberos,输出登陆信息

在代码中添加: System.setProperty(“sun.security.krb5.debug”, “true”);

gx304419380的博客 5177

HDFS配置Kerberos认证

HDFS配置Kerberos认证

我喂自己袋盐 1万+

服务器使用Kerberos安全验证保护网络文件系统

在本文中,我将讨论如何配置基于网络文件系统的UNIX客户端,通过RPCSEC_GSS协议使用Kerberos安全验证来实现网络文件系统下连接Windows服务器。 传统的网络文件系统客户端和服务器使用系统集成认证安全验证。它最重要的是允许客户端向网络文件系统服务器发送表明UNIX用户的用户ID或用户组ID的验证信息。每个网络文件系统请求都在传入请求中标明UNIX用户的用户I...

weixin_34250709的博客 250

CDH构建大数据平台-配置集群的Kerberos认证安全

当平台用户使用量少的时候我们可能不会在意集群安全功能的缺失,因为用户少,团队规模小,相对容易把控,开发人员直接也彼此了解。这时候只需要做好团队内部或是企业通过一些列行政管理手段就能管理好集群的安全问题。但是别忘了我们的平台定位可是作为一个单一的大数据来支持企业内部所有应用的。正所谓人上一百,形形色色。当平台用户达到一定数量之后其素质难免会参差不齐,大数据平台面对的也不再是一个小团队了。这时候靠团队...

yangshaojun1992的博客 1658

kerberos的 kdc_设置Kerberos版本5 KDC以使用AES加密

您可以使用Kerberos来验证网络上用户和主体的身份。 此过程中使用两种类型的票证:票证授予票证和服务票证。 票证授予票证会验证您请求服务票证。 服务器提供服务票证请求以访问实际服务。 密钥分发中心(KDC)用作发行这些票证的受信任的第三方。 票证已加密,因此只有具有有效私钥的主体或具有整个Kerberos数据库的主体名称,其私钥及其到期的KDC才能对其进行解密。 Kerberos版...

cusi77914的博客 2436

服务器上设置虚拟主机,服务器设置虚拟主机

服务器设置虚拟主机 内容精选换一换云服务器可以在专属主机与公共资源池之间迁移,具体包括:将创建在专属主机上的云服务器迁移至其他专属主机。将创建在专属主机上的云服务器迁移至公共资源池,即不再部署在专属主机上。将公共资源池的云服务器迁移至专属主机上,成为专属主机上创建的云服务器。此场景需要在弹性云服务器页面操作,具体请参见《弹性云服务器用户指南》的“迁移云服务器”章节。仅支持本文介绍了弹性云服务器EC...

weixin_34553861的博客 428

KDC添加加密

零售KDC管理的域为TESTA.COM 华为集群管理的域为hadoop.com (目前测试了hdfs cli,下午在UAT集群测试下distcp) 一、 零售KDC升级支持AES加密算法 1、 修改/usr/local/var/krb5kdc/kdc.conf文件中的realms部分 master_key_type = des3-cbc...

weixin_38169769的博客 766

hadoop和hive配置kerbros安全认证

需求: 对新建hadoop集群和hive集群的安全认证安装部署。 版本: centos 7.7 hadoop 2.7.6 hive 1.2.2 部署规划: ip 主机 服务 192.168.216.111 hadoop01 namenode、resourcemanager、datanode、nodemanager、hive、KDC服务 192.168.216.112 ha...

Aidon博客 3112

hadoop 3.X 分布式HA集成Kerbos(保姆级教程)

前提:先安装Kerbos。

guofei_ok的博客 1962
上一篇: Linux7 下Hadoop集群用户管理方案之一 用户管理集群方案概述
下一篇: Linux7 下Hadoop集群用户管理方案之四 CDH集成Kerberos
line_aijava
博客等级 码龄16年 31粉丝 47原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值