单机模式的hadoop安装

原创已于 2022-07-20 14:55:01 修改 · 1.8k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #大数据 #hdfs

于 2022-07-20 14:48:27 首次发布

hadoop3种安装模式专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了如何从官网下载Hadoop 2.9.2版本，进行单机环境搭建，包括配置JDK、主机名、SSH、创建安装目录，解压、设置环境变量，以及关键配置文件的修改。步骤涵盖了下载、环境准备、目录结构、配置调整和启动流程，最后通过实例演示了如何格式化文件系统、启动NameNode和DataNode，以及检查服务状态。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

单机模式的hadoop安装

一、安装Hadoop

一、安装Hadoop

1、下载hadoop安装包

1.1官网下载hadoop2.9.2版本

链接: hadoop旧版本官网下载

找到如下图所示：
点进去后找到如下点击下载
下载完成后如下图所示：

2、hadoop单机环境搭建

2.1搭建准备

安装好JDK并修改主机名
配置了/etc/hosts文件
安装并配置SSH免密通道

2.2创建安装目录

cd /opt 
cd software/ 
mkdir hadoop 
cd hadoop/ 
mkdir hdfs 
cd hdfs/ 
mkdir data 
mkdir name 
mkdir tmp

在这里插入图片描述

cd /opt/software/hadoop/ 
rz #上传hadoop-linux-2.9.2.tar.gz  *注意直接拖入上传*

解压缩文件并删除压缩包

tar -xvzf hadoop-linux-2.9.2.tar.gz
rm -rf hadoop-linux-2.9.2.tar.gz

配置HDOOP_HOME环境变量并刷新

vim /etc/profile.d/my_env.sh
#在my_env.sh添加如下代码：

#HADOOP_HOME
export HADOOP_HOME=/opt/software/hadoop/hadoop-2.9.2
export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

#刷新环境变量
source /etc/profile

在这里插入图片描述

测试是否安装成功

hadoop version

在这里插入图片描述

2.3修改配置文件

  /etc/hadoop-env.sh  #系统运行的环境变量

/etc/hadoop-env.sh 系统运行的环境变量
- 注意此处是修改，并非新增

cd /opt/software/hadoop/hadoop-2.9.2/etc/hadoop 
vim hadoop-env.sh 

# 修改JAVA_HOME
export JAVA_HOME=/usr/local/java/jdk1.8 

# 修改HADOOP_CONF_DIR  
export HADOOP_CONF_DIR=/opt/software/hadoop/hadoop-2.9.2/etc/hadoop

在这里插入图片描述

  **/etc/hadoop/core-site.xml hadoop核心公共参数**

修改配置
- 在configuration配置中添加配置

cd /opt/software/hadoop/hadoop-2.9.2/etc/hadoop 
vim core-site.xml
 
<configuration> 
	<property>
		<name>fs.defaultFS</name> 
		<value>hdfs://snode03:9000</value> 
	</property> 
	<property>
		<name>hadoop.tmp.dir</name> 
		<value>/opt/software/hadoop/hdfs/tmp</value> 
	</property> 
</configuration>

在这里插入图片描述

```
  /etc/hadoop/hdfs-site.xml hdfs
```
/etc/hadoop/hdfs-site.xml

cd /opt/software/hadoop/hadoop-2.9.2/etc/hadoop 
vim hdfs-site.xml 

<configuration> 
	<property>
		<name>dfs.replication</name> 
		<value>1</value> 
	</property> 
	<property>
		<name>dfs.namenode.name.dir</name> 
		<value>file:/opt/software/hadoop/hdfs/name</value> 
	</property> 
	<property>
		<name>dfs.datanode.data.dir</name> 
		<value>file:/opt/software/hadoop/hdfs/data</value> 
	</property> 
</configuration>

在这里插入图片描述

  /etc/hadoop/slaves DataNode节点配置

cd /opt/software/hadoop/hadoop-2.9.2/etc/hadoop 
vim slaves 
snode03

在这里插入图片描述

3、启动hadoop

3.1 格式化文件系统

cd /opt/software/hadoop/hadoop-2.9.2/bin 
hdfs namenode -format

在这里插入图片描述

3.2 启动NameNode和DateNode后台进程

cd /opt/software/hadoop/hadoop-2.9.2/sbin 
start-dfs.sh

在这里插入图片描述

3.3 查看进程启动情况

jps查看是否启动了NameNode、DataNode、SecondaryNameNode

jps

在这里插入图片描述

访问NameNode的web管理页面
http://snode03:50070/