1.2.4 大数据2.x 集群安装系列-- 集群配置中的用户及取消授权

最新推荐文章于 2024-02-02 14:22:19 发布

原创最新推荐文章于 2024-02-02 14:22:19 发布 · 235 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #大数据

大数据Step1-安装与演示专栏收录该内容

33 篇文章

订阅专栏

本文详细介绍了在Hadoop大数据2.x集群中进行用户配置和权限取消授权的过程，包括mapred-site、hdfs-site和core-site的配置调整，以及集群服务的停启与测试。在操作过程中，强调了安全设置的重要性，并提供了启动测试后的系统状态检查，如HDFS Summary和YARN的验证。

1、现象

Permission denied: user=dr.who

在这里插入图片描述

2、解决

在这里插入图片描述

3、配置

mapred-site

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>bigdata-pro01.kfk.com:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>bigdata-pro01.kfk.com:19888</value>
    </property>
</configuration>

hdfs-site

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
   <property>
        <name>mapreduce.jobhistory.address</name>
        <value>bigdata-pro01.kfk.com:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>bigdata-pro01.kfk.com:19888</value>
    </property>
</configuration>

core-site

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata-pro01.kfk.com:9000</value>
    </property>
 
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>kfk</value>
    </property>
 
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/modules/hadoop-2.5.0/data/tmp</value>
    </property>                        
</configuration>

[kfk@bigdata-pro01 hadoop-2.5.0]$ mkdir -p data/tmp
[kfk@bigdata-pro01 hadoop-2.5.0]$ cd data/tmp
[kfk@bigdata-pro01 tmp]$ pwd
/opt/modules/hadoop-2.5.0/data/tmp

4、开始分发

先停 2.3服务忘记了用kill 才能删干净

sbin/mr-jobhistory-daemon.sh stop historyserver
sbin/yarn-daemon.sh stop nodemanager
sbin/yarn-daemon.sh stop resourcemanager
sbin/hadoop-daemon.sh stop datanode
sbin/hadoop-daemon.sh stop namenode

[kfk@bigdata-pro02 modules]$ cd /opt/modules/
[kfk@bigdata-pro02 modules]$ rm -rf hadoop-2.5.0/
 
[kfk@bigdata-pro03 modules]$ cd /opt/modules/
[kfk@bigdata-pro03 modules]$ rm -rf hadoop-2.5.0/
 
scp -r hadoop-2.5.0/ kfk@bigdata-pro02.kfk.com:/opt/modules/
scp -r hadoop-2.5.0/ kfk@bigdata-pro03.kfk.com:/opt/modules/

5、启动测试

bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver