[Nutch]Hadoop多机完全分布式模式hadoop配置

最新推荐文章于 2025-04-09 16:17:39 发布

原创最新推荐文章于 2025-04-09 16:17:39 发布 · 3.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#nutch #hadoop #分布式 #多机完全分布式

Nutch 同时被 2 个专栏收录

27 篇文章

订阅专栏

Nutch深入学习

26 篇文章

订阅专栏

本文详细介绍了如何配置Hadoop进行多机完全分布式部署，包括下载Hadoop、配置环境变量、修改配置文件（masters、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml和hadoop-env.sh）、复制文件到其他节点、格式化名称节点、启动集群以及检查运行进程和web管理页面。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 下载hadoop

使用如下命令：

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

使用如下命令解压：

tar -zxvf hadoop-1.2.1.tar.gz

2. 配置hadoop

将hadoop的bin目录加入到配置文件中，使用如下命令：

vim .bashrc

添加如下行：

export PATH=/home/hadoop/workspace/hadoop-1.2.1/bin:$PATH

如下：
这里写图片描述

使用如下命令使其生效：

source  .bashrc

验证hadoop路径，使用如下命令：

which hadoop

如下：
这里写图片描述

3. 配置hadoop的运行参数

3.1 修改masters配置文件

将localhost修改为host1：

vim conf/masters

3.2 修改slaves配置文件

删除localhost，添加host1,，host2，host3：

vim conf/slaves

3.3 修改core-site.xml

使用如下命令：

vim conf/core-site.xml

添加如下内容：

<property>
<name>fs.default.name</name>
<value>hdfs://host1:9000</value>
</property>

如下：
这里写图片描述

3.4 修改hdfs-site.xml

使用如下命令：

vim conf/hdfs-site.xml

添加如下内容：

<property>
  <name>dfs.name.dir</name>
  <value>/home/hadoop/dfs/filesystem/name</value>
</property>
<property>
  <name>dfs.data.dir</name>
  <value>/home/hadoop/dfs/filesystem/data</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

如下：
这里写图片描述

3.5 修改mapred-site.xml文件

使用如下命令：

vim conf/mapred-site.xml

添加如下内容：

<property>
  <name>mapred.job.tracker</name>
  <value>host1:9001</value>
</property>
<property> 
  <name>mapred.tasktracker.map.tasks.maximum</name>
  <value>4</value>
</property> 
<property> 
  <name>mapred.tasktracker.reduce.tasks.maximum</name>
  <value>4</value>
</property>
<property>
  <name>mapred.system.dir</name>
  <value>/home/hadoop/mapreduce/system</value>
</property>
<property>
  <name>mapred.local.dir</name>
  <value>/home/hadoop/mapreduce/local</value>
</property>

如下：
这里写图片描述

3.6 修改hadoop-env.sh文件

使用vim打开conf目录下面的hadoop-env.sh文件：

vim conf/hadoop-env.sh

在里面配置JAVA_HOME，加入如下内容:

export JAVA_HOME=/usr/lib/jvm/java-8-oracle

如图：
这里写图片描述

4. 复制hadoop文件到其他主机结点

使用如下命令复制到主机host2：

scp -r /home/hadoop/workspace/hadoop-1.2.1  hadoop@host2:/home/hadoop/workspace/hadoop-1.2.1

如下：
这里写图片描述

使用如下命名复制到主机host3：

scp -r /home/hadoop/workspace/hadoop-1.2.1  hadoop@host3:/home/hadoop/workspace/hadoop-1.2.1

如下：
这里写图片描述

5. 格式化名称节点并启动集群

使用如下命令：

hadoop namenode -format

如下：
这里写图片描述

6. 启动集群

使用如下命令：

start-all.sh

如下：
这里写图片描述

7.查看各个主机结点启动的进程

在host1上使用jps可以看到如下进程：
这里写图片描述
在host2上使用jps可以看到如下进程：

在host3上使用jps可以看到如下进程：

8. 查看web管理页面

这里写图片描述