CentOS7安装hadoop2.7.3-单机版

最新推荐文章于 2024-02-02 16:12:12 发布

原创最新推荐文章于 2024-02-02 16:12:12 发布 · 772 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #单机 #安装

大数据专栏收录该内容

3 篇文章

订阅专栏

本文详细介绍了如何在CentOS7环境下，使用OpenJDK1.8进行Hadoop2.7.3的单机版安装与配置。从环境准备到Hadoop的完全安装，包括防火墙关闭、SSH免密登录、环境变量设置、各配置文件详解，直至最终的启动验证。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装版本

操作系统：CentOS7 64位

IP地址：192.168.43.61

Hadoop版本：2.7.3

JDK版本：OpenJDK 1.8 64位

OpenJDK安装

使用yum安装OpenJDK1.8，参看博客：Linux下OpenJDK安装

安装完毕后要配置好环境变量，这里设置全局的环境变量，即修改 /etc/profile 文件

环境准备

关闭防火墙并设置开机禁用（单机版通常是学习用的，因此这里直接简单粗暴将防火墙关闭）
```
systemctl stop firewalld.service
systemctl disable firewalld.service
```

配置hosts

vim /etc/hosts

#输入如下内容
192.168.43.61 hmaster

创建hadoop用户并设置密码（这里设置为hadoop/123456）
```
useradd hadoop
passwd hadoop
```

查看是否安装了ssh客户端，若未安装，则必须先安装

# 查看是否安装ssh客户端
rpm -qa|grep ssh

# 安装ssh客户端命令
yum install openssh-clients.x86_64

校验ssh登录
```
ssh localhost
```

hadoop安装

下载 hadoop-2.7.3.tar.gz，下载地址：https://archive.apache.org/dist/hadoop/common/

切换到hadoop用户，将hadoop-2.7.3.tar.gz上传、解压、配置环境变量

su hadoop
cd /home/hadoop
tar -zxvf hadoop-2.7.3.tar.gz

su root
vim /etc/profile
# 输入如下内容后保存
export HADOOP_HOME=/home/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

配置hadoop运行环境文件 hadoop-env.sh

su hadoop
vim /home/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

# 指定java主目录
export JAVA_HOME=/usr/lib/jvm/java-1.8.0

配置 core-site.xml

vim /home/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml

<!-- 输入如下内容 -->
<configuration>
  <!-- NameNode位置 -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hmaster:9000</value>
  </property>
  <!-- 临时目录 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop-2.7.3/tmp</vaue>
  </property>
</configuration>

配置 hdfs-site.xml

vim /home/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

<!-- 输入如下内容 -->
<configuration>
  <!-- hdfs副本数 -->
  <property>
    <name>dfs.replication</name>
    <value>1<value>
  </property>
</configuration>

配置 mapred-site.xml

cp /home/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /home/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml
vim /home/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml

<!-- 输入如下内容 -->
<configuration>
  <!-- 设置MapReduce运行在Yarn上 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

配置 hdfs-site.xml

vim /home/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml

<!-- 输入如下内容 -->
<configuration>
  <!-- 指定YARN的老大（ResourceManager）的地址  -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hmaster</value>
  </property>
  <!-- reducer获取数据的方式  -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

格式化NameNode
```
su hadoop
hdfs namenode -format
```

免密登录

su hadoop

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

启动
```
start-all.sh
```

验证

查看进程号：jps
在这里插入图片描述
访问NameNode：http://192.168.43.61:8088

访问hdfs：http://192.168.43.61:50070

参考

官方手册：Hadoop: Setting up a Single Node Cluster