Linux7 下Hadoop集群用户管理方案之四 CDH集成Kerberos

最新推荐文章于 2025-10-17 15:41:08 发布
原创 最新推荐文章于 2025-10-17 15:41:08 发布 · 1.6k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop集群 #CDH #Kerberos

本文介绍如何在Cloudera Manager (CM) 上配置Kerberos认证，包括管理员用户的创建过程、解决常见错误的方法及krb5.conf配置管理。
CM 开启Kerberos  认证

在CM上使用Kerberos认证，它会帮我们创建所有的需要的Kerberos账户，并且在启动的时候自动生成keytab存放到对应的启动目录，在配置文件中添加对应的keytab文件配置和用户名。
所以，只需要给CM创建一个拥有管理员权限的账户。CM就能够完成大部分的初始化工作。

首先添加一个管理员用户
Kadmin.local: addprinc -pw raysdata  cloudera-scm/admin@HADOOP.COM
Principal  "cloudera-scm/admin@HADOOP.COM"   created.
addprinc -maxrenewlife "432000 sec" cloudera-scm/admin @HADOOP.COM



kinit: No key table entry found for REDACTED/admin@HADOOP.COM while getting initial credentials
解决方式：使用CM 管理krb5.conf

 KDC has no support for encryption type while getting initial credentials
kerberos 加密类型 修改成   AES128  默认的那个不行。。。

7/04/26 17:36:42 WARN security.UserGroupInformation: PriviledgedActionException as:hdfs@HADOOP.COM (auth:KERBEROS) cause:java.io.IOException: Couldn't setup connection for hdfs@HADOOP.COM to edu-bigdata-01.novalocal/10.10.106.156:8020
mkdir: Failed on local exception: java.io.IOException: Couldn't setup connection for hdfs@HADOOP.COM to edu-bigdata-01.novalocal/10.10.106.156:8020; Host Details : local host is: "edu-bigdata-01.novalocal/10.10.106.156"; destination host is: "edu-bigdata-01.novalocal":8020; 
cdh6.x 配置kerberos，报错 init: No key table entry found for USERNAME-REDACTED while getting initial cred
尤托匹亚的博客
08-26 531
【代码】cdh6.x 配置kerberos，报错 init: No key table entry found for USERNAME-REDACTED while getting initial cred。
cdh集群集成kerberos
朱登凯的专栏
06-27 1524
为什么需要kerberos cdh集群搭建好以后，你可能已经成功地入坑了，因为后面还有很多问题，例如，数据安全的问题等。当你的cdh集群搭建好以后，你会发现他是没有任何权限控制的，所有人只要能够访问到你的ip和端口，就能使用你的服务。并且，你的hdfs中的数据更是毫无安全可言，只需要在一个客户端电脑上的hadoop fs命令前面加上sudo -u hdfs，就能够拥有最高权限因为谁都可以是hdf...
推动世界发展的都是“懒人”，转一篇Linux 集群管理员的“懒办法”
11-15 723
 转自 http://www.ibm.com/developerworks/cn/linux/l-11sysadtips/index.html?S_TACT=105AGX52&S_CMP=tec-csdn集群 对于不同的人有不同的含义。在本文的上下文中，集群最好定义为横向扩展（scale-out）—— 横向扩展集群一般包含大量相同类型的组件，比如 Web 场、表示场和高性能计算 (HPC) 系
Kerberos的介绍、安装与使用
最新发布
weixin_62206215的博客
10-17 1577
Kerberos 是一种网络身份验证协议，Kerberos协议通过使用密钥加密为Client/Server应用程序提供强大的身份验证。不同于其他网络安全协议的保证整个通信过程的传输安全，Kerberos侧重于通信前双方身份的认定工作，帮助客户端以及服务端验证是真正的自己并非他人，从而使得通信两端能够完全信任对方的身份，在一个不安全的网络中完成一次安全的身份认证继而进行安全的通信。
kerberos使用中遇到的问题
热门推荐
玩物
03-17 1万+
公司的kerberos认证使用了很久，但是最近新上的一批服务器无法直接免密登录，需要输入密码。此问题查询了将近一个礼拜后，终于得到解决。kerberos的系统组成有至少三部分。1.ServerA (kdc kerberos-admin(kerberos服务端)) 2.ServerB (client(kerberos user)，所有用户可以通过这个服务器从服务端索要凭据)。 3.ServerC(服
Linux中用户与组群管理
10-30 2758
Linux是一个多用户操作系统，可以多个用户同时使用同一计算机，不同的用户对相同的资源拥有不同的使用权限，将同一类的用户归于一个组群，可以利用组群权限来控制组群成员用户的权限。 Linux中用户分为三大类型：超级用户、系统用户和普通用户。超级用户又称root用户或根用户，拥有系统的最高权限。系统用户是与系统服务相关的用户，通常在安装相关软件包时自动创建，不用改变其默认设置。普通用户在安装后由超级...
Linux的用户和组群管理
Binge的Blog，一起加油鸭！
10-17 2305
Linux的用户和组群管理，按增删改查的顺序化笔记，清楚清晰方便复习也可新手看。最后整理安装图形化工具的流程，不断更新查错
Hadoop集群集成kerberos
SeoHyunChyL的博客
09-29 3675
上周周会领导让研究kerberos，要在我们的大集群中使用，研究任务指派给了我。这周的话也是用测试集群大概的做了一遍。目前为止的研究还比较粗糙，网上众多资料都是CDH的集群，而我们的集群是不是用的CDH，所以在集成kerberos的过程中有一些不同之处。测试环境是由5台机器搭建的集群，hadoop版本是2.7.2。5台机器host分别是 rm1、rm2、test-nn1、test-nn2、10-1
CDH禁用kerberos
IT晓白
01-01 2696
1.停止服务 登录CM，点击[停止] 2.Zookeeper 进入zookeeper配置界面，在输入框中填入[Enable kerberos] 进行搜索. 启用Kerberos身份验证：取消勾选 Enable Server to Server：取消勾选 3.HDFS 进入hdfs配置界面 3.1 关闭安全认证 在输入框中填入[hadoop.security.auth] 进行搜索. hadoop安全授权：取消勾选 Hadoop安全身份验证：simple 3.2 目录权限 在输入框中填入[dfs.data
CDH6.3.2集成tez
03-01
### CDH6.3.2集成tez #### 概述 Cloudera Distribution Including Apache Hadoop (CDH) 是一款由 Cloudera 公司提供的企业级大数据平台，它包含了 Hadoop 生态系统中的核心组件和服务。Tez 是一个支持复杂数据处理...
在 CDH 集群启用 Kerberos认证
jaysen1005的博客
03-04 1248
Kerberos原理介绍 kerberos主要是用来做网络通信时候的身份认证，最主要的特点就是“复杂”。所以在入坑kerberos之前，最好先熟悉一下其原理。这里推荐一些别人写的文章内容来进行简单汇总： 1.链接： kerberos认证原理 用对话场景来解释kerbeors的设计过程 Kerberos的组件和术语(翻译和注解) 2.Kerberos认证流程： KDC...
Linux7 下Hadoop集群用户管理方案之一 用户管理集群方案概述
记录，学习。
05-07 1034
分为几个步骤 方案调研CM的部署Kerberos的安装与集成方案的实践 实现添加用户功能 第一部分：方案的调研与确认 需要做一个大数据教育平台，面向学校，培训机构等，可以基于同一个大数据基础环境，学生可以进行大数据实践，而不需要复杂的搭建过程。 HDFS章节： 想做到这一点，不可避免的就是数据隔离的问题，文件不能被互删，只能读取自己的文件，这是我们首要面临的问
linux 用户权限集中管理,Linux用户权限集中管理方案
weixin_35317737的博客
04-30 236
一、问题服务器多，各个服务器上的管理人员多，ROOT权限泛滥，经常导致文件莫名其妙丢失，老手和新手对服务器的熟知程度不同，安全存在不稳定和操作安全隐患。二、方案利用sudo配置指定用户只能执行指定的命令# 通过用户别名定义用户集CHUJIADMINS初级运维GWNETADMINS网络工程师CHUJI_KAIFA初级开发# 通过命令别名定义权限集CY_CMD_1初级运维GY_CMD_1高级运维CK_...
Android6.0之后动态权限申请方法
特立独行的博客
10-29 1458
Android6.0之后动态权限申请 Android 6.0之前，权限在AndroidManifest.xml文件中声明即可。Android 6.0之后把权限分成正常权限和危险权限，AndroidManifest中声明的正常权限系统会自动授予，而危险权限则需要在使用的时候用户明确授予。 静态申请 AndroidManifest.xml <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" /> &l
hadoop 添加kerberos认证
hua840812的专栏
03-21 4240
参考Cloudera官方文档：Configuring Hadoop Security in CDH3 一、部署无kerberos认证的Hadoop环境 参考另一篇笔记：hadoop集群部署 或者按照Cloudera的官方文档：CDH3 Installation Guide. 二、环境说明 1、主机名 之前部署hadoop集群时，没有使
CDH6.3.2之Kerberos安全认证
ytp552200ytp的博客
11-12 2352
问题导读： 1、Kerberos认证原理是什么？ 2、Kerberos如何部署？ 3、CDH集群如何启用Kerberos？4、如何在Kerberos安全环境使用HFDS？ 01 PART Kerberos简介 Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、...
Kerberos主KDC数据库同步到从KDC报错：Key table entry not found while getting initial credentials
07-08 3975
***报错详情：*** Kerberos开启高可用模式，主KDC数据库同步到从KDC时执行命令： `kprop -f /var/kerberos/krb5kdc/slave_datatrans slavehost` 报错： ``` Error：kprop: Key table entry not found while getting initial credentials？ ``` ***解决办法：*** 1.查看文件/etc/krb5.conf配置是否修改正确（如KDC服务器端口不为默认的88，则需要在
Kafka-Kerberos [2]- "kprop: Key table entry not found while getting initial credentials"
qq_43552708的博客
04-19 2696
Kafka-Kerberos [2]- "kprop: Key table entry not found while getting initial credentials" 关于Kerberos KDC主从搭建的帖子有很多，大体的思路都对，但是动手实际搭建一套KDC主从环境就可以发现某些帖子写得还是有些许问题的，这里推荐两个比较好的手册： Kerberos官方文档： http://web.m...
Kerberos认证--图解
qq_46480020的博客
11-22 1088
kerboros认证
couldnt find version
09-11
### Reasons - **Incorrect version specification**: When specifying a version in a configuration file (e.g., `package.json` in a Node.js project or `pom.xml` in a Maven project), an error in the version number, such as a typo, can lead to the inability to find the version. For example, if the correct version is `1.2.3` but is written as `1.2.4` in the configuration, the system won't be able to locate the specified version. - **Missing repository or incorrect repository configuration**: If the package or library is stored in a specific repository, and the project's configuration doesn't include that repository or has an incorrect repository URL, the system won't be able to search in the right place. For instance, in a Java project using Maven, if the custom repository URL in the `settings.xml` file is misconfigured, Maven won't be able to access the required versions. - **Version not published**: The requested version might not have been published to the repository. Developers may forget to publish a new version after making changes, or there could be issues during the publishing process. - **Network issues**: Problems with the network connection can prevent the system from accessing the repository to search for the version. This could be due to a firewall blocking access to the repository server, or a general network outage. ### Solutions - **Check and correct the version number**: Double - check the version number specified in the configuration files. Make sure there are no typos or incorrect version formats. For example, in a `package.json` file for a Node.js project: ```json { "dependencies": { "some - package": "1.2.3" } } ``` Ensure that `1.2.3` is the correct version you need. - **Verify and update repository configuration**: Check the repository configuration in your project. In a Maven project, ensure that the `pom.xml` file has the correct repositories defined: ```xml <repositories> <repository> <id>central</id> <url>https://repo.maven.apache.org/maven2</url> </repository> </repositories> ``` If you are using a custom repository, make sure the URL is correct and the repository is accessible. - **Publish the missing version**: If the version is not published, follow the appropriate steps to publish it. In a Node.js project, you can use `npm publish` after incrementing the version number in the `package.json` file. In a Java project, use the appropriate Maven commands like `mvn deploy` to publish the new version to the repository. - **Check and fix network issues**: Ensure that your network connection is stable and that there are no firewalls blocking access to the repository. You can try accessing the repository URL directly in a web browser to check if it's reachable. If there is a firewall, configure it to allow access to the necessary repository servers.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值