Hadoop_Kerberos配置过程记录

最新推荐文章于 2025-06-27 18:47:07 发布
原创 最新推荐文章于 2025-06-27 18:47:07 发布 · 4.6k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hadoop #Kerberos

本文介绍如何在Hadoop和HBase集群中集成Kerberos进行安全认证，包括创建Kerberos实例、配置Hadoop及HBase相关属性、编译源码等关键步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. 在KDC上创建kerberos实例

    ① 以root用户，输入kadmin.local进入kerberos命令行，在kerberos数据库中生成实例 

    addprinc -randkey hadoop/namenode@SILENCE.COM
addprinc -randkey hadoop/datanode1@SILENCE.COM
addprinc -randkey hadoop/datanode2@SILENCE.COM

addprinc -randkey HTTP/namenode@SILENCE.COM
addprinc -randkey HTTP/datanode1@SILENCE.COM
addprinc -randkey HTTP/datanode2@SILENCE.COM

    ②退出kerberos命令行，以root用户，为各实例生成密钥

    kadmin.local -q "xst -k hadoop.keytab hadoop/namenode@SILENCE.COM"
kadmin.local -q "xst -k hadoop.keytab hadoop/datanode1@SILENCE.COM"
kadmin.local -q "xst -k hadoop.keytab hadoop/datanode2@SILENCE.COM"

kadmin.local -q "xst -k HTTP.keytab HTTP/namenode@SILENCE.COM"
kadmin.local -q "xst -k HTTP.keytab HTTP/datanode1@SILENCE.COM"
kadmin.local -q "xst -k HTTP.keytab HTTP/datanode2@SILENCE.COM"

此时，生成的keytab都在root根目录下。

    ③在root命令行，合并hadoop.keytab和HTTP.keytab为hdfs.keytab。

     ktutil
 rkt hadoop.keytab
 rkt HTTP.keytab
 wkt hdfs.keytab

    将hdfs.keytab文件复制到/home/hadoop/目录。并向hadoop各节点分发。

    ④注意

    a. 主机名一定要小写，通过kinit申请TGT票据时kerberos会将无论大小写都视为小写，生成票据。而实例中如果是大写主机名，则会使得kerberos库中对应的实例无法产生票据。

    b. hadoop/namenode,其中的namenode只是作为一个标志，代表这个hadoop用户与另一个hadoop用户属于不同的主机而已。所有，如果hostname为大写，那么此处仍必须以小写作为输入。

  2. hdfs集成kerberos。（先停止集群）

    ①修改core_site.xml

     <property> 
    <name>hadoop.security.authentication</name>  
     <value>kerberos</value> 
 </property> 

 <property> 
     <name>hadoop.security.authorization</name> 
     <value>true</value> 
 </property>

    以上配置，表示开启安全认证功能并且采用kerberos认证。

    ②修改hdfs-site.xml

      <property> 
      <name>dfs.block.access.token.enable</name> 
      <value>true</value> 
  </property> 

  <property> 
      <name>dfs.https.enable</name> 
      <value>true</value> 
  </property> 

  <property> 
      <name>dfs.https.policy</name> 
      <value>HTTPS_ONLY</value> 
  </property> 

  <property>  
      <name>dfs.namenode.https-address.pin-cluster1.namenode</name> 
      <value>namenode:50470</value> 
  </property> 

  <property> 
      <name>dfs.https.port</name> 
      <value>50470</value> 
  </property>

  <property> 
      <name>dfs.namenode.keytab.file</name> 
      <value>/home/hadoop/hdfs.keytab</value> 
  </property> 

  <property> 
      <name>dfs.namenode.kerberos.principal</name> 
      <value>hadoop/_HOST@SILENCE.COM</value> 
  </property> 

  <property> 
      <name>dfs.namenode.kerberos.internal.spnego.principal</name> 
      <value>HTTP/_HOST@SILENCE.COM</value> 
  </property> 

  <property> 
      <name>dfs.datanode.data.dir.perm</name> 
      <value>700</value> 
  </property> 

  <property> 
      <name>dfs.datanode.address</name> 
      <value>0.0.0.0:1004</value> 
  </property> 

  <property> 
      <name>dfs.datanode.http.address</name> 
      <value>0.0.0.0:1006</value> 
  </property> 

  <property> 
      <name>dfs.datanode.keytab.file</name> 
      <value>/home/hadoop/hdfs.keytab</value> 
  </property> 

  <property> 
      <name>dfs.datanode.kerberos.principal</name> 
      <value>hadoop/_HOST@SILENCE.COM</value> 
  </property> 

  <property> 
      <name>dfs.journalnode.keytab.file</name> 
      <value>/home/hadoop/hdfs.keytab</value> 
  </property> 

  <property> 
      <name>dfs.journalnode.kerberos.principal</name> 
      <value>hadoop/_HOST@SILENCE.COM</value> 
  </property> 

  <property> 
      <name>dfs.journalnode.kerberos.internal.spnego.principal</name> 
      <value>HTTP/_HOST@SILENCE.COM</value> 
  </property> 

  <property> 
      <name>dfs.web.authentication.kerberos.principal</name> 
      <value>HTTP/_HOST@SILENCE.COM</value> 
  </property> 

  <property> 
      <name>dfs.web.authentication.kerberos.keytab</name> 
      <value>/home/hadoop/hdfs.keytab</value> 
  </property>

    以上主要配置了kerberos实例，以及keytab的存放位置。

    ③修改yarn-site.xml

      <property>
      <name>yarn.resourcemanager.keytab</name>
      <value>/home/hadoop/hdfs.keytab</value>
  </property>

  <property>
      <name>yarn.resourcemanager.principal</name>
      <value>hadoop/_HOST@SILENCE.COM</value>
  </property>

  <property>
      <name>yarn.nodemanager.keytab</name>
      <value>/home/hadoop/hdfs.keytab</value>
  </property>

  <property>
      <name>yarn.nodemanager.principal</name>
      <value>hadoop/_HOST@SILENCE.COM</value>
  </property>

  <property>
      <name>yarn.nodemanager.container-executor.class</name>
      <value>org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor</value>
  </property>

  <property>
      <name>yarn.nodemanager.linux-container-executor.group</name>
      <value>hadoop</value>
  </property>

  <property>
      <name>yarn.https.policy</name>
      <value>HTTPS_ONLY</value>

    ④修改mapred-site.xml

      <property>
      <name>mapreduce.jobhistory.keytab</name>
      <value>/home/hadoop/hdfs.keytab</value>
  </property>

  <property>
      <name>mapreduce.jobhistory.principal</name>
      <value>hadoop/_HOST@SILENCE.COM</value>
  </property>

  <property>
      <name>mapreduce.jobhistory.http.policy</name>
      <value>HTTPS_ONLY</value>
  </property>

    ⑤在zookeeper的zoo.cfg文件中加入：

       authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider

   jaasLoginRenew=3600000

    同时在zoo.cfg所在的文件目录下创建一个jaas.conf文件，加入：

       Server {
   com.sun.security.auth.module.Krb5LoginModulerequired
   useKeyTab=true
   keyTab="/home/hadoop/hdfs.keytab"
   storeKey=true
   useTicketCache=false
   principal="hadoop/namenode@SILENCE.COM";
   };

    同时在zoo.cfg所在的文件目录下创建一个java.env文件，加入：

       exportJVMFLAGS="-Djava.security.auth.login.config=$ZOOKEEPER_HOME/conf/jaas.conf"

    注意：

    a. 此zookeeper需要使用外部zookeeper，而不是hbase自带的。

    b. jaas.conf中的principal应根据不同的主机进行相应的更改。

    c. 以上所有文件的修改均需要同步到集群所有节点

    ⑥修改hadoop-env.sh

    export HADOOP_SECURE_DN_USER=hadoop 
export HADOOP_SECURE_DN_PID_DIR=/home/hadoop/pids 
export HADOOP_SECURE_DN_LOG_DIR=/home/hadoop/logs 
export JSVC_HOME=/home/hadoop/commons-daemon-1.0.15-src/src/native/unix/

    注意：jsvc需要另外安装，安装步骤如下：

    a.下载commons-daemon-1.0.15-src.tar.gz

    b. 解压后进入commons-daemon-1.0.15-src/src/native/unix

    c. 在hadoop命令行输入：

       sh support/buildconf.sh
   ./configure   （这一步的执行需要配置好JAVA_HOME）
   make

    命令行输入：

         ./jsvc -help，测试是否编译成功

    d. 编译成功后当前目录下将出现一个jsvc文件，将此文件路径配置到hadoop-env.sh中

    ⑦修改container-executor.cfg

     yarn.nodemanager.local-dirs=/home/hadoop/etc/hadoop/data
 yarn.nodemanager.log-dirs=/home/hadoop/etc/hadoop/logs,
 allowed.system.users=root,silence,hadoop  
 yarn.nodemanager.linux-container-executor.group=hadoop
 # banned.users=hadoop
 min.user.id=1

    注意：

    yarn-nodemanager.local-dirs和yarn.nodemanager.log-dirs要和yarn-site.xml中配置一致。min.user.id也要注意，这里设定的是可以使用提交任务用户id的最小值，通过：id 用户名,可以查看用户id。默认是1000如果不配置的话，这样如果用户id小于1000，则提交任务报错。所以这里设定成了1.原本1000是为了防止其它的超级用户使用集群的。

    ⑧编译源码

    因为container-executor（在 HADOOP_HOME/bin下）要求container-executor.cfg这个文件及其所有父目录都属于root用户，否则启动nodemanager会报错。配置文件container-executor.cfg默认的路径在HADOOP_HOME/etc/hadoop/container-executor.cfg。如果，按照默认的路径修改所有父目录都属于root，显然不可能。于是，把路径编译到/etc/container-executor.cfg中。

    a. 下载hadoop-2,7,2-src源码包解压，进入src目录下，执行 

    mvn package -Pdist,native -DskipTests -Dtar -Dcontainer-executor.conf.dir=/etc

    b. 进入hadoop-2.7.2/src/hadoop-dist/target下，用新生成的container-executor替换所有节点原来的container-executor，并且所有节点上均要将HADOOP_HOME/etc/hadoop下的container-executor.cfg文件复制到/etc 下，且设置权限为root:root。在bin文件夹下执行strings container-executor | grep etc如果结果是/etc而非../etc，则表示操作成功了。另外最重要的是将bin下的container-executor文件权限设定为root:hadoop和4750，如果权限不是4750，则启动nodemanager时会报错，报错是不能提供合理的container-executor.cfg文件。

    ⑨启动集群：

     bin/zkServcer.sh start
 sbin/start-dfs.sh
 sbin/start-secure-dns.sh  (以root执行)
 sbin/start-yarn.sh
 bin/start-hbase.sh

    ⑩验证kerberos服务

    a. 尝试执行：

    hadoop dfs -ls

    b. hadoop用户下执行：

    kinit -k -e /home/hadoop/hdfs.keytab hadoop/namenode@SILENCE.COM
此时hadoop用户将向KDC申请一张票据

    c. 启动kerberos服务：

    sudo krb5kdc
sudo kerberos

    d. 再次执行：

    hadoop dfs -ls

  3. HBase集成kerberos

    ①zookeeper配置

    a. 修改jaas.conf文件

       Server {
       com.sun.security.auth.module.Krb5LoginModulerequired
       useKeyTab=true
       keyTab="/home/hadoop/hdfs.keytab"
       storeKey=true
       useTicketCache=false
       principal="hadoop/namenode@SILENCE.COM";
   };

    b. 修改java.env文件 

       exportJVMFLAGS="-Djava.security.auth.login.config
                                 =$ZOOKEEPER_HOME/conf/jaas.conf"
   export JAVA_HOME="/home/hadoop/jdk8"

    c. 修改zoo.cfg文件

       tickTime=2000
   initLimit=10
   syncLimit=5
   clientPort=2181
   dataDir=/home/hadoop/zookeeper-3.4.6/data
   server.3 =namenode:2888:3888
   server.1 =datanode1:2888:3888
   server.2 =datanode2:2888:3888
   skipACL=yes  
   dataLogDir=/home/hadoop/zookeeper-3.4.6/logs
   authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
   jaasLoginRenew=3600000

    ②HBase配置(先停止HBase集群)

    a. 修改hbase-env.sh文件

    export JAVA_HOME=/home/hadoop/jdk8
export HBASE_OPTS="-XX:+UseConcMarkSweepGC -Djava.security.auth.login.config
                               =/home/hadoop/hbase/conf/zk-jaas.conf"
export HBASE_MANAGES_ZK=false

    b. 修改HBase-site.xml文件

        <property>
        <name>hbase.rootdir</name>
        <value>hdfs://192.168.6.186:9000/hbase</value>
    </property>

    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>namenode,datanode1,datanode2</value>
    </property>

    <property>
        <name>hbase.master</name>
        <value>namenode:60000</value>
    </property>

    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
    </property>

    <property>
        <name>dfs.support.append</name>
        <value>true</value>
    </property>

    <property>
        <name>zookeeper.znode.parent</name>
        <value>/hbase</value>
    </property>

    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/home/hadoop/hbase/zookeeper</value>
    </property>

    <property>
        <name>hbase.tmp.dir</name>
        <value>/tmp/hbase</value>
    </property>

    <property>
        <name>hbase.zookeeper.property.maxClientCnxns</name>
        <value>0</value>
    </property>

    <property>
        <name>zookeeper.session.timeout</name>
        <value>1200000</value>
    </property>

    <property>
        <name>hbase.rest.port</name>
        <value>60050</value>
    </property>

    <property>
        <name>hbase.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>hbase.security.authorization</name>
        <value>true</value>
    </property>

    <property>
        <name>hbase.coprocessor.master.classes</name>
        <value>org.apache.hadoop.hbase.security.access.AccessController</value>
    </property>

    <property>
    <name>hbase.coprocessor.region.classes</name>               
    <value>org.apache.hadoop.hbase.security.token.TokenProvider,
            org.apache.hadoop.hbase.security.access.AccessController</value>
    </property>

    <property>
        <name>hbase.security.authentication</name>
        <value>kerberos</value>
    </property>

    <property>
        <name>hbase.rpc.engine</name>
        <value>org.apache.hadoop.hbase.ipc.SecureRpcEngine</value>
    </property>

    <property>
        <name>hbase.regionserver.kerberos.principal</name>
        <value>hadoop/_HOST@SILENCE.COM</value>
    </property>

    <property>
        <name>hbase.regionserver.keytab.file</name>
        <value>/home/hadoop/hdfs.keytab</value>
    </property>

    <property>
        <name>hbase.master.kerberos.principal</name>
        <value>hadoop/_HOST@SILENCE.COM</value>
    </property>

    <property>
        <name>hbase.master.keytab.file</name>
        <value>/home/hadoop/hdfs.keytab</value>
    </property>

    <property>
        <name>hbase.master.maxclockskew</name>
        <value>1800000</value>
        <description>Time difference of regionserver from master</description>
    </property>

    c. 修改hbase/conf下的jaas.conf文件

    Client {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    keyTab="/home/hadoop/hdfs.keytab"
    storeKey=true
    useTicketCache=false
    principal="hadoop/_HOST@SILENCE.COM";
};

    d. 启动HBase

  4. Hive集成kerberos

HDFS_Kerberos
slyang的博客
07-09 686
1 pom.xml &lt;dependencies&gt; &lt;!-- 这里的dependency可以只引用 `hadoop-client`，或者同时引用`hadoop-common`和`hadoop-hdfs` --&gt; &lt;dependency&gt; &lt;groupId&gt;org.apache.hadoop&lt;/...
《Hadoop系列》Hadoop实操记录
https://blog.datasource.space
05-22 2166
1.shell脚本配置伪分布式Hadoop 2.数据直接上传到分区目录上，让分区表和数据产生关联的三种方式
Hadoop部署和配置Kerberos安全认证
05-17
Hadoop部署和配置Kerberos安全认证全套流程。已经过实测并部署与生产环境。
Hadoop Kerberos 集成
hyunbar的博客
02-10 3150
大数据技术AI Flink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料 106篇原创内容 ...
Kerberos 深入详解：原理、认证流程与应用场景
最新发布
PwnGuo的博客
06-27 1416
Kerberos认证协议在企业大数据平台中的应用 Kerberos是一种基于对称密钥加密的网络身份认证协议，通过可信第三方KDC实现安全认证而不传输明文密码。其核心流程包含三个阶段：用户认证获取TGT票据、获取服务票据以及服务端验证。在企业Hadoop集群中，Kerberos被用于实现统一认证，所有客户端访问HDFS前必须经过完整认证流程，包括NameNode和DataNode在内的服务节点都需要配置专属服务主体和keytab文件。该机制通过KDC作为根信任中心，构建了完整的认证信任链，确保只有获得有效票据
Kerberos安装及与Hadoop搭配提高安全性
huyuleizj的博客
03-08 4704
介绍了Kerberos的搭建方法，以及在普通Hadoop环境中、CDH环境中与Hadoop对接设置的步骤 本文转载自:http://blog.csdn.net/xiao_jun_0820/article/details/39375819 环境： 假设我们有5个机器，分别是hadoop1~hadoop5。选择hadoop1,hadoop2,hadoop3组成分布式的KDC。ha
kerberos安装部署
qq_25617289的博客
05-08 1442
1:服务端安装 yum install krb5-server krb5-libs krb5-auth-dialogkrb5-workstationkrb5-devel -y 2 在 slave端安装 yum installkrb5-devel krb5-workstation -y 3:修改配置文件 (1):vi /etc/krb5.conf [loggin...
Hadoop和Kerberos：超越大门的疯狂Hadoop and Kerberos: The Madness Beyond the Gate
11-15
1. **认证**：Kerberos负责用户的认证过程，确保只有合法的用户才能访问Hadoop集群。 2. **授权**：Hadoop通过配置文件指定哪些用户或组有权访问特定的数据或执行某些操作。 3. **审计**：记录用户的活动，以便跟踪...
hadoop_client_opts
09-23
例如，可以使用hadoop_client_opts设置Hadoop客户端的超时时间、认证方式、Kerberos凭据等。这些选项可以通过命令行参数或配置文件进行设置。 ### 回答2： hadoop_client_opts是一个Hadoop客户端的选项参数。...
CDH_Hadoop5.8 Kerberos快速认证指南
"CDH_Hadoop5.8使用Kerberos进行认证的简易指南" Kerberos是一种强大的网络认证系统，广泛应用于确保...在实施过程中，遵循最佳实践，详细记录配置步骤，以及定期审计和更新安全策略，都是保持系统安全的重要环节。
为hdfs配置kerberos
10-27
本文档记录了为 Hadoop 的 HDFS 配置 Kerberos 的过程，Hadoop 的版本是 2.4.1。Kerberos 是一种常用的身份验证协议，用于提供安全的身份验证机制。在 Hadoop 中，Kerberos 可以用于 HDFS 和 MapReduce 的安全认证。...
HDFS的安全身份验证
互联网知识分享
07-23 1516
hadoop.security.group.mapping.ldap.bind.password.file：指定了LDAP服务器管理员用户的密码文件。hadoop.security.group.mapping.ldap.search.filter.user：指定了用户查询过滤器。hadoop.security.group.mapping.ldap.search.filter.group：指定了组查询过滤器。dfs.namenode.keytab.file：指定了NameNode的服务密钥文件。
集群间配置kerberos互信
qq_36864672的博客
02-01 2536
本文档讲述通过配置tdh集群和tos集群某个租户两者间guardian互信，用户可以在两个集群登录操作hdfs，运用distcp工具将tdh集群中hdfs文件导入到tos租户hdfs。执行 hadoop fs -fs hdfs://192.168.100.104:8020 -ls / 和 hdfs dfs -ls / 是否都没问题。1.测试集群：以开发集群hdfs用户登录，然后分别访问开发集群和本地的hdfs。2.开发集群：以测试集群hd户登录，然后分别访问测试集群和本地的hdfs。
HDFS安全认证参数详解
行路中
04-18 1515
请先阅读HDFSRPC协议详解HDFSRPC安全认证Kerberos篇HDFSRPC安全认证Token篇HDFSRPC安全认证Token篇2，对整体的框架有一定的了解。
hadoop之kerberos权限配置（ranger基础上）（三）
weixin_40496191的博客
01-02 4726
kerberos+ranger+kerberos权限控制
Hadoop开启Kerberos安全模式
木木与呆呆的专栏
11-20 3405
Hadoop开启Kerberos安全模式, 基于已经安装好的Hadoop的2.7.1环境， 在此基础上开启Kerberos安全模式。 1.安装规划 已经安装好Hadoop的环境 10.43.159.7 zdh-7 hdfsone/zdh1234 Kerberos服务器 10.43.159.11 zdh-11 kerberos server 2.创建用户的k...
HDFS配置Kerberos认证
热门推荐
wulantian的专栏
12-26 4万+
HDFS配置Kerberos认证 2014.11.04 本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程，包括 Kerberos 的安装和 Hadoop 相关配置修改说明。 注意： 下面第一、二部分内容，摘抄自《Hadoop的kerberos的实践部署》，主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个简单
Hadoop 配置 Kerberos 认证_hadoop kerberos认证
2401_84185182的博客
04-27 743
rw-r–r–. 1 root root 1298 10月 5 17:14 bd_ca_cert。-rw-r–r–. 1 root root 1834 10月 5 17:14 bd_ca_key。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值