Hadoop_Kerberos配置过程记录

最新推荐文章于 2025-06-24 14:12:36 发布
最新推荐文章于 2025-06-24 14:12:36 发布
阅读量4.6k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： Hadoop 文章标签： Hadoop Kerberos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Regan_Hoo/article/details/78582812
本文介绍如何在Hadoop和HBase集群中集成Kerberos进行安全认证，包括创建Kerberos实例、配置Hadoop及HBase相关属性、编译源码等关键步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. 在KDC上创建kerberos实例

    ① 以root用户，输入kadmin.local进入kerberos命令行，在kerberos数据库中生成实例 

    addprinc -randkey hadoop/namenode@SILENCE.COM
addprinc -randkey hadoop/datanode1@SILENCE.COM
addprinc -randkey hadoop/datanode2@SILENCE.COM

addprinc -randkey HTTP/namenode@SILENCE.COM
addprinc -randkey HTTP/datanode1@SILENCE.COM
addprinc -randkey HTTP/datanode2@SILENCE.COM

    ②退出kerberos命令行，以root用户，为各实例生成密钥

    kadmin.local -q "xst -k hadoop.keytab hadoop/namenode@SILENCE.COM"
kadmin.local -q "xst -k hadoop.keytab hadoop/datanode1@SILENCE.COM"
kadmin.local -q "xst -k hadoop.keytab hadoop/datanode2@SILENCE.COM"

kadmin.local -q "xst -k HTTP.keytab HTTP/namenode@SILENCE.COM"
kadmin.local -q "xst -k HTTP.keytab HTTP/datanode1@SILENCE.COM"
kadmin.local -q "xst -k HTTP.keytab HTTP/datanode2@SILENCE.COM"

此时，生成的keytab都在root根目录下。

    ③在root命令行，合并hadoop.keytab和HTTP.keytab为hdfs.keytab。

     ktutil
 rkt hadoop.keytab
 rkt HTTP.keytab
 wkt hdfs.keytab

    将hdfs.keytab文件复制到/home/hadoop/目录。并向hadoop各节点分发。

    ④注意

    a. 主机名一定要小写，通过kinit申请TGT票据时kerberos会将无论大小写都视为小写，生成票据。而实例中如果是大写主机名，则会使得kerberos库中对应的实例无法产生票据。

    b. hadoop/namenode,其中的namenode只是作为一个标志，代表这个hadoop用户与另一个hadoop用户属于不同的主机而已。所有，如果hostname为大写，那么此处仍必须以小写作为输入。

  2. hdfs集成kerberos。（先停止集群）

    ①修改core_site.xml

     <property> 
    <name>hadoop.security.authentication</name>  
     <value>kerberos</value> 
 </property> 

 <property> 
     <name>hadoop.security.authorization</name> 
     <value>true</value> 
 </property>

    以上配置，表示开启安全认证功能并且采用kerberos认证。

    ②修改hdfs-site.xml

      <property> 
      <name>dfs.block.access.token.enable</name> 
      <value>true</value> 
  </property> 

  <property> 
      <name>dfs.https.enable</name> 
      <value>true</value> 
  </property> 

  <property> 
      <name>dfs.https.policy</name> 
      <value>HTTPS_ONLY</value> 
  </property> 

  <property>  
      <name>dfs.namenode.https-address.pin-cluster1.namenode</name> 
      <value>namenode:50470</value> 
  </property> 

  <property> 
      <name>dfs.https.port</name> 
      <value>50470</value> 
  </property>

  <property> 
      <name>dfs.namenode.keytab.file</name> 
      <value>/home/hadoop/hdfs.keytab</value> 
  </property> 

  <property> 
      <name>dfs.namenode.kerberos.principal</name> 
      <value>hadoop/_HOST@SILENCE.COM</value> 
  </property> 

  <property> 
      <name>dfs.namenode.kerberos.internal.spnego.principal</name> 
      <value>HTTP/_HOST@SILENCE.COM</value> 
  </property> 

  <property> 
      <name>dfs.datanode.data.dir.perm</name> 
      <value>700</value> 
  </property> 

  <property> 
      <name>dfs.datanode.address</name> 
      <value>0.0.0.0:1004</value> 
  </property> 

  <property> 
      <name>dfs.datanode.http.address</name> 
      <value>0.0.0.0:1006</value> 
  </property> 

  <property> 
      <name>dfs.datanode.keytab.file</name> 
      <value>/home/hadoop/hdfs.keytab</value> 
  </property> 

  <property> 
      <name>dfs.datanode.kerberos.principal</name> 
      <value>hadoop/_HOST@SILENCE.COM</value> 
  </property> 

  <property> 
      <name>dfs.journalnode.keytab.file</name> 
      <value>/home/hadoop/hdfs.keytab</value> 
  </property> 

  <property> 
      <name>dfs.journalnode.kerberos.principal</name> 
      <value>hadoop/_HOST@SILENCE.COM</value> 
  </property> 

  <property> 
      <name>dfs.journalnode.kerberos.internal.spnego.principal</name> 
      <value>HTTP/_HOST@SILENCE.COM</value> 
  </property> 

  <property> 
      <name>dfs.web.authentication.kerberos.principal</name> 
      <value>HTTP/_HOST@SILENCE.COM</value> 
  </property> 

  <property> 
      <name>dfs.web.authentication.kerberos.keytab</name> 
      <value>/home/hadoop/hdfs.keytab</value> 
  </property>

    以上主要配置了kerberos实例，以及keytab的存放位置。

    ③修改yarn-site.xml

      <property>
      <name>yarn.resourcemanager.keytab</name>
      <value>/home/hadoop/hdfs.keytab</value>
  </property>

  <property>
      <name>yarn.resourcemanager.principal</name>
      <value>hadoop/_HOST@SILENCE.COM</value>
  </property>

  <property>
      <name>yarn.nodemanager.keytab</name>
      <value>/home/hadoop/hdfs.keytab</value>
  </property>

  <property>
      <name>yarn.nodemanager.principal</name>
      <value>hadoop/_HOST@SILENCE.COM</value>
  </property>

  <property>
      <name>yarn.nodemanager.container-executor.class</name>
      <value>org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor</value>
  </property>

  <property>
      <name>yarn.nodemanager.linux-container-executor.group</name>
      <value>hadoop</value>
  </property>

  <property>
      <name>yarn.https.policy</name>
      <value>HTTPS_ONLY</value>

    ④修改mapred-site.xml

      <property>
      <name>mapreduce.jobhistory.keytab</name>
      <value>/home/hadoop/hdfs.keytab</value>
  </property>

  <property>
      <name>mapreduce.jobhistory.principal</name>
      <value>hadoop/_HOST@SILENCE.COM</value>
  </property>

  <property>
      <name>mapreduce.jobhistory.http.policy</name>
      <value>HTTPS_ONLY</value>
  </property>

    ⑤在zookeeper的zoo.cfg文件中加入：

       authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider

   jaasLoginRenew=3600000

    同时在zoo.cfg所在的文件目录下创建一个jaas.conf文件，加入：

       Server {
   com.sun.security.auth.module.Krb5LoginModulerequired
   useKeyTab=true
   keyTab="/home/hadoop/hdfs.keytab"
   storeKey=true
   useTicketCache=false
   principal="hadoop/namenode@SILENCE.COM";
   };

    同时在zoo.cfg所在的文件目录下创建一个java.env文件，加入：

       exportJVMFLAGS="-Djava.security.auth.login.config=$ZOOKEEPER_HOME/conf/jaas.conf"

    注意：

    a. 此zookeeper需要使用外部zookeeper，而不是hbase自带的。

    b. jaas.conf中的principal应根据不同的主机进行相应的更改。

    c. 以上所有文件的修改均需要同步到集群所有节点

    ⑥修改hadoop-env.sh

    export HADOOP_SECURE_DN_USER=hadoop 
export HADOOP_SECURE_DN_PID_DIR=/home/hadoop/pids 
export HADOOP_SECURE_DN_LOG_DIR=/home/hadoop/logs 
export JSVC_HOME=/home/hadoop/commons-daemon-1.0.15-src/src/native/unix/

    注意：jsvc需要另外安装，安装步骤如下：

    a.下载commons-daemon-1.0.15-src.tar.gz

    b. 解压后进入commons-daemon-1.0.15-src/src/native/unix

    c. 在hadoop命令行输入：

       sh support/buildconf.sh
   ./configure   （这一步的执行需要配置好JAVA_HOME）
   make

    命令行输入：

         ./jsvc -help，测试是否编译成功

    d. 编译成功后当前目录下将出现一个jsvc文件，将此文件路径配置到hadoop-env.sh中

    ⑦修改container-executor.cfg

     yarn.nodemanager.local-dirs=/home/hadoop/etc/hadoop/data
 yarn.nodemanager.log-dirs=/home/hadoop/etc/hadoop/logs,
 allowed.system.users=root,silence,hadoop  
 yarn.nodemanager.linux-container-executor.group=hadoop
 # banned.users=hadoop
 min.user.id=1

    注意：

    yarn-nodemanager.local-dirs和yarn.nodemanager.log-dirs要和yarn-site.xml中配置一致。min.user.id也要注意，这里设定的是可以使用提交任务用户id的最小值，通过：id 用户名,可以查看用户id。默认是1000如果不配置的话，这样如果用户id小于1000，则提交任务报错。所以这里设定成了1.原本1000是为了防止其它的超级用户使用集群的。

    ⑧编译源码

    因为container-executor（在 HADOOP_HOME/bin下）要求container-executor.cfg这个文件及其所有父目录都属于root用户，否则启动nodemanager会报错。配置文件container-executor.cfg默认的路径在HADOOP_HOME/etc/hadoop/container-executor.cfg。如果，按照默认的路径修改所有父目录都属于root，显然不可能。于是，把路径编译到/etc/container-executor.cfg中。

    a. 下载hadoop-2,7,2-src源码包解压，进入src目录下，执行 

    mvn package -Pdist,native -DskipTests -Dtar -Dcontainer-executor.conf.dir=/etc

    b. 进入hadoop-2.7.2/src/hadoop-dist/target下，用新生成的container-executor替换所有节点原来的container-executor，并且所有节点上均要将HADOOP_HOME/etc/hadoop下的container-executor.cfg文件复制到/etc 下，且设置权限为root:root。在bin文件夹下执行strings container-executor | grep etc如果结果是/etc而非../etc，则表示操作成功了。另外最重要的是将bin下的container-executor文件权限设定为root:hadoop和4750，如果权限不是4750，则启动nodemanager时会报错，报错是不能提供合理的container-executor.cfg文件。

    ⑨启动集群：

     bin/zkServcer.sh start
 sbin/start-dfs.sh
 sbin/start-secure-dns.sh  (以root执行)
 sbin/start-yarn.sh
 bin/start-hbase.sh

    ⑩验证kerberos服务

    a. 尝试执行：

    hadoop dfs -ls

    b. hadoop用户下执行：

    kinit -k -e /home/hadoop/hdfs.keytab hadoop/namenode@SILENCE.COM
此时hadoop用户将向KDC申请一张票据

    c. 启动kerberos服务：

    sudo krb5kdc
sudo kerberos

    d. 再次执行：

    hadoop dfs -ls

  3. HBase集成kerberos

    ①zookeeper配置

    a. 修改jaas.conf文件

       Server {
       com.sun.security.auth.module.Krb5LoginModulerequired
       useKeyTab=true
       keyTab="/home/hadoop/hdfs.keytab"
       storeKey=true
       useTicketCache=false
       principal="hadoop/namenode@SILENCE.COM";
   };

    b. 修改java.env文件 

       exportJVMFLAGS="-Djava.security.auth.login.config
                                 =$ZOOKEEPER_HOME/conf/jaas.conf"
   export JAVA_HOME="/home/hadoop/jdk8"

    c. 修改zoo.cfg文件

       tickTime=2000
   initLimit=10
   syncLimit=5
   clientPort=2181
   dataDir=/home/hadoop/zookeeper-3.4.6/data
   server.3 =namenode:2888:3888
   server.1 =datanode1:2888:3888
   server.2 =datanode2:2888:3888
   skipACL=yes  
   dataLogDir=/home/hadoop/zookeeper-3.4.6/logs
   authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
   jaasLoginRenew=3600000

    ②HBase配置(先停止HBase集群)

    a. 修改hbase-env.sh文件

    export JAVA_HOME=/home/hadoop/jdk8
export HBASE_OPTS="-XX:+UseConcMarkSweepGC -Djava.security.auth.login.config
                               =/home/hadoop/hbase/conf/zk-jaas.conf"
export HBASE_MANAGES_ZK=false

    b. 修改HBase-site.xml文件

        <property>
        <name>hbase.rootdir</name>
        <value>hdfs://192.168.6.186:9000/hbase</value>
    </property>

    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>namenode,datanode1,datanode2</value>
    </property>

    <property>
        <name>hbase.master</name>
        <value>namenode:60000</value>
    </property>

    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
    </property>

    <property>
        <name>dfs.support.append</name>
        <value>true</value>
    </property>

    <property>
        <name>zookeeper.znode.parent</name>
        <value>/hbase</value>
    </property>

    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/home/hadoop/hbase/zookeeper</value>
    </property>

    <property>
        <name>hbase.tmp.dir</name>
        <value>/tmp/hbase</value>
    </property>

    <property>
        <name>hbase.zookeeper.property.maxClientCnxns</name>
        <value>0</value>
    </property>

    <property>
        <name>zookeeper.session.timeout</name>
        <value>1200000</value>
    </property>

    <property>
        <name>hbase.rest.port</name>
        <value>60050</value>
    </property>

    <property>
        <name>hbase.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>hbase.security.authorization</name>
        <value>true</value>
    </property>

    <property>
        <name>hbase.coprocessor.master.classes</name>
        <value>org.apache.hadoop.hbase.security.access.AccessController</value>
    </property>

    <property>
    <name>hbase.coprocessor.region.classes</name>               
    <value>org.apache.hadoop.hbase.security.token.TokenProvider,
            org.apache.hadoop.hbase.security.access.AccessController</value>
    </property>

    <property>
        <name>hbase.security.authentication</name>
        <value>kerberos</value>
    </property>

    <property>
        <name>hbase.rpc.engine</name>
        <value>org.apache.hadoop.hbase.ipc.SecureRpcEngine</value>
    </property>

    <property>
        <name>hbase.regionserver.kerberos.principal</name>
        <value>hadoop/_HOST@SILENCE.COM</value>
    </property>

    <property>
        <name>hbase.regionserver.keytab.file</name>
        <value>/home/hadoop/hdfs.keytab</value>
    </property>

    <property>
        <name>hbase.master.kerberos.principal</name>
        <value>hadoop/_HOST@SILENCE.COM</value>
    </property>

    <property>
        <name>hbase.master.keytab.file</name>
        <value>/home/hadoop/hdfs.keytab</value>
    </property>

    <property>
        <name>hbase.master.maxclockskew</name>
        <value>1800000</value>
        <description>Time difference of regionserver from master</description>
    </property>

    c. 修改hbase/conf下的jaas.conf文件

    Client {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    keyTab="/home/hadoop/hdfs.keytab"
    storeKey=true
    useTicketCache=false
    principal="hadoop/_HOST@SILENCE.COM";
};

    d. 启动HBase

  4. Hive集成kerberos

HDFS_Kerberos
slyang的博客
07-09 682
1 pom.xml &lt;dependencies&gt; &lt;!-- 这里的dependency可以只引用 `hadoop-client`，或者同时引用`hadoop-common`和`hadoop-hdfs` --&gt; &lt;dependency&gt; &lt;groupId&gt;org.apache.hadoop&lt;/...
《Hadoop系列》Hadoop实操记录
https://blog.datasource.space
05-22 2166
1.shell脚本配置伪分布式Hadoop 2.数据直接上传到分区目录上，让分区表和数据产生关联的三种方式
Hadoop部署和配置Kerberos安全认证
05-17
Hadoop部署和配置Kerberos安全认证全套流程。已经过实测并部署与生产环境。
Hadoop Kerberos 集成
hyunbar的博客
02-10 3147
大数据技术AI Flink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料 106篇原创内容 ...
大数据安全之 KMS 原理、配置、使用（含加密、证书等原理介绍，及Kerberos 集成）
最新发布
weixin_39724712的博客
06-24 929
摘要：Hadoop数据安全包括静态数据(HDFS透明加密)和传输数据安全。HDFS加密区域(EncryptionZone)实现透明加密，通过KMS(Key Management Server)管理密钥体系，包含EZK(加密区域密钥)和DEK(数据加密密钥)。配置过程涉及keystore创建、Kerberos认证设置及KMS服务部署。使用流程包括：1)创建加密区域和密钥；2)向加密区域写入数据(自动加密)；3)读取数据(自动解密)。验证表明文件内容在磁盘上加密存储，通过HDFS命令可正常读取，实现了透明的数据
Kerberos安装及与Hadoop搭配提高安全性
huyuleizj的博客
03-08 4696
介绍了Kerberos的搭建方法，以及在普通Hadoop环境中、CDH环境中与Hadoop对接设置的步骤 本文转载自:http://blog.csdn.net/xiao_jun_0820/article/details/39375819 环境： 假设我们有5个机器，分别是hadoop1~hadoop5。选择hadoop1,hadoop2,hadoop3组成分布式的KDC。ha
kerberos安装部署
qq_25617289的博客
05-08 1441
1:服务端安装 yum install krb5-server krb5-libs krb5-auth-dialogkrb5-workstationkrb5-devel -y 2 在 slave端安装 yum installkrb5-devel krb5-workstation -y 3:修改配置文件 (1):vi /etc/krb5.conf [loggin...
Hadoop和Kerberos：超越大门的疯狂Hadoop and Kerberos: The Madness Beyond the Gate
11-15
1. **认证**：Kerberos负责用户的认证过程，确保只有合法的用户才能访问Hadoop集群。 2. **授权**：Hadoop通过配置文件指定哪些用户或组有权访问特定的数据或执行某些操作。 3. **审计**：记录用户的活动，以便跟踪...
hadoop_client_opts
09-23
例如，可以使用hadoop_client_opts设置Hadoop客户端的超时时间、认证方式、Kerberos凭据等。这些选项可以通过命令行参数或配置文件进行设置。 ### 回答2： hadoop_client_opts是一个Hadoop客户端的选项参数。...
CDH_Hadoop5.8 Kerberos快速认证指南
"CDH_Hadoop5.8使用Kerberos进行认证的简易指南" Kerberos是一种强大的网络认证系统，广泛应用于确保...在实施过程中，遵循最佳实践，详细记录配置步骤，以及定期审计和更新安全策略，都是保持系统安全的重要环节。
为hdfs配置kerberos
10-27
本文档记录了为 Hadoop 的 HDFS 配置 Kerberos 的过程，Hadoop 的版本是 2.4.1。Kerberos 是一种常用的身份验证协议，用于提供安全的身份验证机制。在 Hadoop 中，Kerberos 可以用于 HDFS 和 MapReduce 的安全认证。...
HDFS的安全身份验证
互联网知识分享
07-23 1504
hadoop.security.group.mapping.ldap.bind.password.file：指定了LDAP服务器管理员用户的密码文件。hadoop.security.group.mapping.ldap.search.filter.user：指定了用户查询过滤器。hadoop.security.group.mapping.ldap.search.filter.group：指定了组查询过滤器。dfs.namenode.keytab.file：指定了NameNode的服务密钥文件。
集群间配置kerberos互信
qq_36864672的博客
02-01 2518
本文档讲述通过配置tdh集群和tos集群某个租户两者间guardian互信，用户可以在两个集群登录操作hdfs，运用distcp工具将tdh集群中hdfs文件导入到tos租户hdfs。执行 hadoop fs -fs hdfs://192.168.100.104:8020 -ls / 和 hdfs dfs -ls / 是否都没问题。1.测试集群：以开发集群hdfs用户登录，然后分别访问开发集群和本地的hdfs。2.开发集群：以测试集群hd户登录，然后分别访问测试集群和本地的hdfs。
HDFS安全认证参数详解
行路中
04-18 1479
请先阅读HDFSRPC协议详解HDFSRPC安全认证Kerberos篇HDFSRPC安全认证Token篇HDFSRPC安全认证Token篇2，对整体的框架有一定的了解。
hadoop之kerberos权限配置（ranger基础上）（三）
weixin_40496191的博客
01-02 4707
kerberos+ranger+kerberos权限控制
跟我一起读《Hadoop权威指南》 第三篇 -- HDFS （Hadoop分布式文件系统）
maniacer的博客
04-30 3792
HDFS概念 HDFS（Hadoop Distributed FileSystem）是Hadoop旗舰级别文件系统，用来存储超大文件（从几百MB到几百TB级别数据）、流式数据访问、高延时的以及一次写入多次读取的文件系统。 数据块 HDFS有数据块（block）的概念，一个块默认大小是128MB，HDFS中的文件会被分为多个块，每个块都是一个独立的存储单元，需要注意的是：当一个文件的...
HDFS配置Kerberos认证
热门推荐
wulantian的专栏
12-26 4万+
HDFS配置Kerberos认证 2014.11.04 本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程，包括 Kerberos 的安装和 Hadoop 相关配置修改说明。 注意： 下面第一、二部分内容，摘抄自《Hadoop的kerberos的实践部署》，主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个简单
HdfsClient-在本地开发环境使用Java远程连接操作HDFS
super_man_1995的博客
06-30 1587
一、pom.xml配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apac
Hadoop集成Kerberos安全服务器
qq_43541182的博客
03-16 1702
公司里要给Hadoop配置Kerberos，记录一下过程中遇到的问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值