hadoop(二)

xiaoqiguishishei

于 2018-04-08 17:22:16 发布

阅读量284

点赞数

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/xiaoqiguishishei/article/details/79854983

版权

本文档详述了在mini1上配置Hadoop-2.X集群的过程，包括免密登录设置、集群主机配置、Hadoop和Zookeeper的安装、解压、配置、复制到其他节点以及启动相关服务的步骤。主要涉及NameNode, DataNode, Zookeeper, FailoverController, JournalNode, ResourceManager, NodeManager等组件。" 53207711,1380087,寻找整数组合：实现从1到n中找到和为m的所有组合,"['Java', '数据结构', '算法']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop-2.X配置

*免密登录是前提

集群结构:NameNode,DataNode,Zookeeper,FailoverController,JournalNode,ResourceManager,nodeManager
这里写图片描述

在mini1上配置

1 配置hadoop集群的主机
vi /etc/hosts
添加,四个主机
10.211.55.8 mini1
10.211.55.9 mini2
10.211.55.10 mini3
10.211.55.11 mini4
将该配置文件拷贝到另外三个机器上
scp /etc/hosts root@mini2:/etc/
scp /etc/hosts root@mini3:/etc/
scp /etc/hosts root@mini4:/etc/

2 解压 hadoop
tar -zxvf hadoop-2.X.tar.gz

3 软连解压后的文件包
ln -sf /download/hadoop-XXX /home/hadoop-2.X

4 进入hadoop目录进行配置
cd /home/hadoop-2.4/etc/hadoop/

5 修改 hadoop-env.sh
vi hadoop-env.sh
配置jdk export JAVA_HOME=/usr/java/jdk1.8.0_161(jdk路径)

6 修改 hdfs-site.xml
vi hdfs-site.xml

<configuration></configuration>中添加

配置服务
    <property>
        <name>dfs.nameservices</name>
        <value>zlserver</value>
    </property>

配置NameNode
    <property>
        <name>dfs.ha.namenodes.zlserver</name>
        <value>nn1,nn2</value>
    </property>

配置两个NameNode
A. rpc协议端口和主机
    <property>
        <name>dfs.namenode.rpc-address.zlserver.nn1</name>
        <value>mini1:8020</value>
    </property>
    <property>

最低0.47元/天解锁文章