hadoop集群搭建(二)——集群环境配置

最新推荐文章于 2025-11-25 09:50:05 发布

原创最新推荐文章于 2025-11-25 09:50:05 发布 · 137 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #集群配置

hadoop 专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍了Hadoop集群的搭建过程，包括配置机器IP、设置hosts文件、masters和slaves文件，以及core-site、mapred-site和hdfs-site等关键配置文件的调整。此外还涉及到了SSH免密登录配置、SecondaryNamenode的设置、服务启动流程等内容。

部署运行你感兴趣的模型镜像

团队力量让我们站在云端！

真的感觉团队的力量太强大了，整个集群配置能够顺利进行，完全是靠大家合作才能完成。我们确实有很多不明白的地方，但是我们的每一个人都敢于探索，敢于去实践，敢于去做各种尝试，最终的结果就是我们克服了各种困难完成了云端的搭建！

好了进入正题，假设每台机器都按照前一篇所属配置好了hadoop环境，那么接下来开始配置集群环境。

集群配置分为以下几个步骤：

1、修改机器的IP地址等信息

2、配置namenode的hosts文件；

3、配置namenode的masters和slaves文件；

4、配置namenode的core-site、mapred-site、hdfs-site文件；

5、远程拷贝（可选操作）上述文件给所有的slaves；

6、在namenode上生成公钥，远程拷贝公钥给所有的slaves，slaves上将公钥添加到授权文件；

7、s laves ssh连接master；

8、d ata结点启动datanode和tasktracker,name结点启动所有的data结点；

一、修改机器IP；

这里我们总共准备了十台机器，依次将机器的IP地址改为192.168.1.2-192.168.1.11

选定11号机器为namenode,10号机器作为secondarynamenode；

二、配置namenode的hosts文件；

sudo gedit /etc/hosts

修改文件如下：

127.0.0.1 localhost

127.0.1.1 ubuntu.ubuntu-domain ubuntu

192.168.1.11 master

192.168.1.7 s7

192.168.1.4 s4

192.168.1.2 s2

192.168.1.3 s3

192.168.1.5 s5

192.168.1.6 s6

192.168.1.8 s8

192.168.1.9 s9

192.168.1.10 s10

# The following lines are desirable for IPv6 capable hosts

::1 ip6-localhost ip6-loopback

fe00::0 ip6-localnet

ff00::0 ip6-mcastprefix

ff02::1 ip6-allnodes

ff02::2 ip6-allrouters

三、配置namenode的masters和slaves文件

cd /usr/local/hadoop

sudo gedit conf/masters

修改如下：

master

sudo gedit conf/slaves

这里配置的masters和slaves文件只是作为一种映射关系，将对应的名称映射到hosts文件中的IP;

四、配置namenode的core-site、mapred-site、hdfs-site文件

sudo gedit conf/core-site.xml

1 <configuration>

2 <property>

3 <name>fs. default .name</name>

4 <value>hdfs:// master :9000</value>

5 </property>

6 <property>

7 <name>dfs.replication</name>

8 <value>1</value>

9 </property>

10 <property>

参数详解：第一个属性表示namenode的主机和端口，第二个属性表示hdfs中文件备份个数。

sudo gedit conf/mapred-site.xml

1 <configuration>

2 <property>

3 <name>mapred.job.tracker</name>

4 <value> master :9001</value>

5 </property>

6 </configuration>

参数详解：JobTracker的主机和端口;

sudo geidt conf/hdfs-site.xml

1 <property>

2 <name> dfs.name.dir </name>

3 <value> /home/hadoop/hdfs/name </value>

4 </property>

6 <property>

7 <name> dfs.data.dir </name>

8 <value> /home/hadoop/hdfs/data </value>

9 </property>

参数详解：第一个属性表示 NameNode 持久存储名字空间及事务日志的本地文件系统路径。

第二个属性表示 DataNode 存放块数据的本地文件系统路径。

五、远程拷贝（可选操作）slaves上的文件给master；

scp /etc/hosts hadoop@s2:/etc/hosts

scp conf/core-site.xml hadoop@s2:/usr/local/hadoop/conf/core-site.xml

scp conf/mapred-site.xml hadoop@s2:/usr/local/hadoop/conf/mapred-site.xml

scp conf/hdfs-site.xml hadoop@s2:/usr/local/hadoop/conf/hdfs-site.xml

data结点上修改master文件同name结点，经过实践我们发现data结点作为slave，slaves文件其实不用修改。

六、在namenode上生成公钥，远程拷贝公钥给所有的slaves，slaves上将公钥添加到授权文件;

1. 生成公钥： ssh-keygen -t dsa -P "" -f ~/.ssh/id_ r sa

2. 远程拷贝： scp ~/.ssh/id_rsa.pub hadoop@master ~/.ssh/

3. data结点上添加到收信任列表： cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorizedkeys

七、 datanode ssh连接namenode

ssh master

八、配置SecondaryNamenode( 号外！ )

修改masters 文件，改为 s10

修改hdfs-site.xml 文件

     <property>
          <name>dfs.http.address</name>
          <value> 192.168.1.11 :50070</value> >
    </property>

九、data结点启动datanode和tasktracker,name结点启动所有的data结点

namenode启动之前做一次 block 负载均衡

sudo gedit conf/hdfs-site.xml

     <property>
                <name>dfs.balance.bandwidthPerSec</name>
                <value>10485760</value>
                <description>
                      Specifies the maximum bandwidth that each datanode can utilize for the balancing purpose in

                       term of the number of bytes per second.
                 </description>
     </property>

bin/start-balancer.sh

在新的结点上启动datanode

bin/hadoop-daemon.sh start datanode

启动tasktracker

bin/hadoop-daemon.sh start tasktracker

启动SecondaryNameNode

bin/hadoop-daemon.sh start SecoondaryNameNode

启动namenode

bin/start-dfs.sh

连接时可以在namenode上查看连接情况:

bin/hadoop dfsadmin -report