Hadoop 集群安装配置实验

原创 已于 2025-04-07 09:46:19 修改 · 6.5k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

于 2016-02-17 17:12:45 首次发布
本文详细介绍了如何在四台虚拟机上搭建Hadoop集群，包括环境准备、安装配置及初始化运行过程，确保集群正常运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、环境

二、安装前准备

1. 分别在四台机器上建立 grid 用户

2. 分别在四台机器上的 /etc/hosts 文件中添加如下内容

3. 分别在四台机器上安装 java

4. 配置免密码 ssh

三、安装配置 hadoop

1. 安装 hadoop：

2. 建立目录

3. 修改配置文件

四、安装后配置

五、初始化及运行

参考：

一、环境

        四台 VirtualBox 上的 Linux 虚机，每台硬盘 20G，内存 768M。

        IP 与主机名：
192.168.56.101 master
192.168.56.102 slave1
192.168.56.103 slave2
192.168.56.104 slave3

        主机规划：192.168.56.101 做 master，运行 NameNode 和 ResourceManager 进程。其它三台主机做 slave，运行 DataNode 和 NodeManager 进程。

        操作系统：CentOS release 6.4 (Final)

        java 版本：jdk1.7.0_75

        hadoop 版本：hadoop-2.7.2

二、安装前准备

1. 分别在四台机器上建立 grid 用户

useradd -d /home/grid -m grid
usermod -G root grid

2. 分别在四台机器上的 /etc/hosts 文件中添加如下内容

192.168.56.101 master
192.168.56.102 slave1
192.168.56.103 slave2
192.168.56.104 slave3

        以下的操作均使用 grid 用户执行。

3. 分别在四台机器上安装 java

cd ~
tar -zxvf jdk-7u75-linux-x64.tar.gz

4. 配置免密码 ssh

        这里配置了任意两台机器都免密码

（1）分别在四台机器上生成密钥对：

cd ~
ssh-keygen -t rsa

然后一路回车。

（2）在 master 上执行：

cd ~/.ssh/
ssh-copy-id 192.168.56.101
scp /home/grid/.ssh/authorized_keys 192.168.56.102:/home/grid/.ssh/

（3）在 slave1 上执行：

cd ~/.ssh/
ssh-copy-id 192.168.56.102
scp /home/grid/.ssh/authorized_keys 192.168.56.103:/home/grid/.ssh/

（4）在 slave2 上执行：

cd ~/.ssh/
ssh-copy-id 192.168.56.103
scp /home/grid/.ssh/authorized_keys 192.168.56.104:/home/grid/.ssh/

（5）在 slave3 上执行：

cd ~/.ssh/
ssh-copy-id 192.168.56.104
scp /home/grid/.ssh/authorized_keys 192.168.56.101:/home/grid/.ssh/
scp /home/grid/.ssh/authorized_keys 192.168.56.102:/home/grid/.ssh/
scp /home/grid/.ssh/authorized_keys 192.168.56.103:/home/grid/.ssh/

        至此，免密码 ssh 配置完成。

三、安装配置 hadoop

        以下的操作均使用 grid 用户在 master 主机上执行。

1. 安装 hadoop：

cd ~
tar -zxvf hadoop-2.7.2.tar.gz

2. 建立目录

cd ~/hadoop-2.7.2
mkdir tmp
mkdir hdfs
mkdir hdfs/data
mkdir hdfs/name

3. 修改配置文件

（1）编辑 ~/hadoop-2.7.2/etc/hadoop/core-site.xml 文件，添加如下内容。

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.56.101:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/home/grid/hadoop-2.7.2/tmp</value>
</property>
<property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
</property>
</configuration>

（2）编辑 ~/hadoop-2.7.2/etc/hadoop/hdfs-site.xml 文件，添加如下内容。

<configuration>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/grid/hadoop-2.7.2/hdfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/home/grid/hadoop-2.7.2/hdfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>192.168.56.101:9001</value>
</property>
<property>
    <name>dfs.namenode.servicerpc-address</name>
    <value>192.168.56.101:10000</value>
</property>
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
</configuration>

        注意：dfs.namenode.servicerpc-address参数必须设置。

（3）编辑~/hadoop-2.7.2/etc/hadoop/yarn-site.xml文件，添加如下内容。

<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>192.168.56.101:8032</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>192.168.56.101:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>192.168.56.101:8031</value>
</property>
<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>192.168.56.101:8033</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>192.168.56.101:8088</value>
</property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>1024</value>
</property>
</configuration>

        注意：yarn.nodemanager.resource.memory-mb 不能小于 1024。

（4）编辑 ~/hadoop-2.7.2/etc/hadoop/mapred-site.xml 文件，添加如下内容。

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>192.168.56.101:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>192.168.56.101:19888</value>
</property>
</configuration>

（5）编辑 ~/hadoop-2.7.2/etc/hadoop/slaves 文件，添加如下内容。

192.168.56.102
192.168.56.103
192.168.56.104

（6）编辑 ~/hadoop-2.7.2/etc/hadoop/hadoop-env.sh 文件，修改如下内容。

export JAVA_HOME=/home/grid/jdk1.7.0_75

（7）编辑 ~/hadoop-2.7.2/etc/hadoop/yarn-env.sh 文件，修改如下内容。

export JAVA_HOME=/home/grid/jdk1.7.0_75

（8）将 hadhoop 主目录复制到各个从服务器上

scp -r ./hadoop-2.7.2 192.168.56.102:/home/grid/
scp -r ./hadoop-2.7.2 192.168.56.103:/home/grid/
scp -r ./hadoop-2.7.2 192.168.56.104:/home/grid/

四、安装后配置

        使用 root 用户分别在四台机器上的 /etc/profile 文件中添加如下环境变量。

export JAVA_HOME=/home/grid/jdk1.7.0_75
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/home/grid/hadoop-2.7.2
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

五、初始化及运行

        以下的操作均使用 grid 用户在 master 主机上执行。

hdfs namenode -format

        结果如图1 所示：

图1

start-dfs.sh

        结果如图2 所示：

图2 
start-yarn.sh

        结果如图3 所示：

图3


        查看主节点 Java 进程，可以看到主节点上启动了 NameNode、SecondaryNameNode、ResourceManager 守护进程，如图4 所示：

图4

        查看从节点 Java 进程，可以看到从节点上启动了 DataNode、NodeManager 守护进程，如图5 所示：

图5

        通过 web 接口查看 NameNode，如图6 所示：

图6

参考：

https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html

实验一(1)hadoop安装与配置
qq_41166909的博客
10-10 1181
开始 1. 【实验步骤】安装Hadoop# 一、启动Docker容器 1.加载镜像 实验使用的Docker镜像保存在/cg/images/hadoop_node.tar.gz文件中，执行如下命令加载该镜像: docker load < /cg/images/hadoop_node.tar.gz 2.启动实验容器 执行如下四个命令，启动四个名称分别为master、slave1、slave2、slave3的docker容器用于实验： docker run --name...
Hadoop集群安装配置解析——林子雨老师博客教程
G46829362的博客
12-10 1642
另外还需要在Master节点上通过命令“hdfs dfsadmin -report”查看数据节点是否正常启动，如果屏幕信息中的“Live datanodes”不为 0 ，则说明集群启动成功。在配置集群/分布式模式时，需要修改“/usr/local/hadoop/etc/hadoop”目录下的配置文件，这里仅设置正常启动所必须的设置项，包括workers 、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml共5个文件。
构建Hadoop集群实验
舜岳的博客
07-20 7756
（1）在#后输入cd /home/命令，进入home目录下，在#后输入vi Dockerfile命令，创建并编辑一个Dockerfile文件，示例代码如下： [root@xxx home]# vi Dockerfile 按i（小写）键，进入编辑模式，将以下代码输入至Dockerfile文件当中。示例代码如下： FROM centos MAINTAINER zing ADD jdk-7u79...
Hadoop 安装与搭建全流程教学【全网最全超详细保姆级教学】
最新发布
m0_64440031的博客
06-04 4761
本文是面向零基础读者的 Hadoop 3 节点集群保姆级安装教程，详细讲解基于 CentOS 7 系统从虚拟机创建、静态 IP 配置、JDK 与 Hadoop 安装，到 SSH 互信搭建、集群配置文件编写、数据目录创建及集群启动验证的全流程，强调创建 hadoop 专用账户的安全实践，涵盖防火墙设置、常见问题排查等细节，助力读者快速掌握 Hadoop 集群搭建，为大数据开发奠定基础。
Hadoop配置实验
angus_monroe的博客
06-06 325
hadoop配置实验 安装java jdk 服务器 cd /home mkdir software 在本地下载 https://download.oracle.com/otn/java/jdk/8u212-b12/478a62b7d4e34b78b671c754eaaf38ab/jdk-8u211-linux-x64.tar.gz 本地终端 scp /Users/xujiaxing/Downlo...
[实验]Hadoop集群安装与配置
m0_57883712的博客
04-29 1280
8、SSH免密登录测试，在hadoop01节点中使用命令 ssh hadoop02，在hadoop02节点中使用命令 ssh hadoop03，在hadoop03节点中使用命令 ssh hadoop01，或直接在hadoop01节点中使用，效果如下。4、和JDK一样，我们安装完成后都需要配置环境变量，使用命令vi /etc/profile进入到该文件后，依旧在最后一行进行配置，参数如下（以下两行参数一定要把地址写对，如果你的地址是自己修改的，需要把第一行中的地址写为你修改的地址）修改完成后保存退出。
Hadoop搭建实验报告
08-02
NULL 博文链接：https://daxiangwanju.iteye.com/blog/1962175
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
Hadoop系统应用之安装---Hadoop集群安装配置和详细搭建过程
m0_57464618的博客
03-09 2002
Hadoop集群安装配置和详细搭建过程
大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置.doc
08-21
【大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置】 实验主要涉及了大数据技术中的基础概念，包括Linux操作系统、Java环境、SSH服务、Hadoop集群的搭建与配置。以下是具体步骤和知识点的详细解释：...
大数据导论实验一：搭建Hadoop集群
weixin_47060391的博客
12-27 2631
搭建Hadoop集群，要求至少是3个节点的真分布式集群系统，包含1个NameNode，两个DataNode。
Hadoop课程实验和报告——Hadoop安装实验报告
06-30
Hadoop课程实验和报告——Hadoop安装实验报告
大数据hapdoop安装完整实验报告（包含结果图）
05-17
1.掌握Linux虚拟机安装方法或者双操作系统安装方法。Hadoop在Linux操作系统上运行可以发挥最佳性能，鉴于目前可能正在使用Windows操作系统，有必要通过本实验掌握在Windows操作系统上搭建Linux虚拟机的方法。 2.掌握Hadoop的伪分布式安装方法。需要在一台机器上模拟一个小的集群，因此，需要通过本实验掌握在单机上进行Hadoop的伪分布式安装方法。
Hadoop伪分布式配置与测试--spark基础（20180607云计算实验）
qq_40276310的博客
06-07 1785
课程原地址：http://hbust.shiyanbar.com/course/91079上课老师：李歆实验时间：20180607地点：云桌面实验人：郭畅 实验目的1) 学会hadoop伪分布式配置2) 理解伪分布式配置的配置文件 实验原理Hadoop伪分布式配置是在没有多台计算机节点的情况下，对hadoop的分布式存储和计算进行模拟安装和配置。通过在一台计算机节点上解压hadoop安装压缩包后，...
【保姆级教程】Hadoop集群的安装、配置、Demo测试
weixin_41673825的博客
06-28 3274
Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台，本教程意图在Windows11平台使用Vmware虚拟机搭建一个伪分布式Hadoop运行环境，供学生进行Hadoop集群相关方面的学习、实验。
实验一：Hadoop集群搭建
Linyer的博客
10-07 7055
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。
Hadoop集群安装报告
hechenrui的博客
03-06 2759
去年选修了《网络大数据处理理论与实践》课程，本篇博客记录一下当时的安装过程。安装教程来自：助教chjtan@pku.edu.cnhttp://www.powerxing.com/install-hadoop-cluster/http://xixici.com/2016/07/18/spark-cookbook/环境及所需软件说明1)       Ubuntu 14.04 x64（VMware 12...
Hadoop集群搭建实验(1) _伪分布式部署
qq_35447918的博客
05-30 7935
〇 基础练习 1)安装虚拟机VirtualBox 先卸载,再安装, 学会基本操作, 启动虚拟机, 新建虚拟机, 主机网络管理器查看虚拟网卡, 2)安装CentOS 安装1台干净的CentOS作为搭建hadoop集群的基础环境 纯命令行界面安装，root用户成功登陆, 忘记root密码会修改, 虚拟网卡配置, win7和CentOS构成的网络拓扑,ifconfig查看IP地址...
实验一：JDK+Hadoop安装配置、集群模式搭建
weixin_44722787的博客
05-24 335
JDK+Hadoop安装配置、集群模式搭建1、Hadoop简介2、新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值