Hadoop环境搭建(单机)

最新推荐文章于 2025-06-29 14:36:50 发布

原创最新推荐文章于 2025-06-29 14:36:50 发布 · 5.2k 阅读

39 ·

CC 4.0 BY-SA版权

文章标签：

#大数据hadoop

一、环境准备

操作系统：CentOS-6.5-x86_64-minimal.iso

安装包：

百度云：

系统安装，和静态ip配置，和实现SSH免密登录示例，看前面的文章：

https://blog.youkuaiyun.com/xingkongtianma01/article/category/7680374

https://blog.youkuaiyun.com/xingkongtianma01/article/category/7680389

关闭防火墙：

先执行命令： service iptables stop （临时生效）

再执行命令：chkconfig iptables off （永久生效）

（如果不关闭防火墙，就需要多次开放专用的端口，配置文件：/etc/sysconfig/iptables ）

为了方便管理，更改下主机名HOSTNAME，可以不改（主机名称更改之后，要重启(reboot)才会生效）

改完主机名之后，要添加IP和主机名的映射关系（如果在配置文件中使用主机名，映射必须有）

二、服务器配置

2.将jdk和hadoop 的安装包导入进来

3.安装JDK：

输入命令：java -version，查看是否安装了JDK，如果安装了，但版本不适合的话，需要先卸载，再执行命令（rpm -ivh jdk-8u51-linux-x64.rpm），安装我们的JDK

4.配置环境变量：

执行如下命令：

在最后位置添加 JAVA_HOME JRE_HOME CLASSPATH PATH 的配置

export JAVA_HOME=/usr/java/jdk1.8.0_51/
export JRE_HOME=/usr/java/jdk1.8.0_51//jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export PATH

编辑完之后，执行命令 source /etc/profile 使配置生效

输入命令：java -version 查看刚刚的JDK配置是否生效

5.1 安装HADOOP：

解压hadoop的安装包

创建一个hadoop文件夹

将刚刚解压的hadoop安装文件夹移动到hadoop文件夹中并重命名

再执行如下命令：

在最后位置添加 HADOOP 的相关配置

export HADOOP_HOME=/usr/soft2019/hadoop/hadoop3.1
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

PATH=$PATH:$HADOOP_HOME/bin
export PATH

编辑完之后，执行命令 source /etc/profile 使配置生效

5.2 在root目录下建立一些文件夹

mkdir  /root/hadoop  
mkdir  /root/hadoop/tmp  
mkdir  /root/hadoop/var  
mkdir  /root/hadoop/dfs  
mkdir  /root/hadoop/dfs/name  
mkdir  /root/hadoop/dfs/data

6.1 切换到 /usr/soft2019/hadoop/hadoop3.1/etc/hadoop/

6.2 修改 core-site.xml

执行命令 vi core-site.xml，在<configuration>添加

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://nodeHa:9000</value>
   </property>

nodeHa就是我们前面配置的HOSTNAME

6.3 修改 hadoop-env.sh

执行命令 vi hadoop-env.sh，将${JAVA_HOME} 修改为自己的JDK路径

6.4 修改 hdfs-site.xml

执行命令 vi hdfs-site.xml，在<configuration>添加

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namesp
ace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNo
de where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

6.5 修改 mapred-site.xml

执行命令 vi mapred-site.xml，在<configuration>添加

<property>
    <name>mapred.job.tracker</name>
    <value>nodeHa:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

到此 Hadoop 的单机模式的配置就完成了。

7.1 切换到 /usr/soft2019/hadoop/hadoop3.1/bin/

执行命令 ./hadoop namenode -format ，初始化hadoop

7.2 执行命令 jps 查看目前启动的进程

未启动hadoop，所以没有hadoop相关的进程

8.1 切换到 /usr/soft2019/hadoop/hadoop3.1/sbin/

8.2 修改 start-dfs.sh

执行命令 vi start-dfs.sh，在前面添加如下代码

、

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

执行命令 ./start-dfs.sh 启动HDFS

8.3 修改 start-yarn.sh

执行命令 vi start-yarn.sh，在前面添加如下代码

执行命令 ./start-yarn.sh 启动YARN

（或者不执行 ./start-dfs.sh 和 ./start-yarn.sh 命令，而是直接执行命令 ./start-all.sh 一次性启动多个hadoop相关的进程）

8.4 执行命令 jps 查看目前启动的进程

8.5 在浏览器中输入 http://192.168.1.77:8088/cluster

8.6 在浏览器中输入 http://192.168.1.77:9870

到此。hadoop单机环境搭建就完成了。看似简单，但实际配置起来还是要认真仔细。勤能补拙是良训，我们一起加油！