Linux-单机伪分布hadoop 安装步骤

最新推荐文章于 2024-08-30 13:48:42 发布

原创最新推荐文章于 2024-08-30 13:48:42 发布 · 929 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop

Linux 同时被 2 个专栏收录

11 篇文章

订阅专栏

大数据

2 篇文章

订阅专栏

本文详细介绍了在Linux系统中安装Hadoop的步骤，包括安装JDK、Maven，创建Hadoop用户，配置环境变量，安装SSH，以及配置Hadoop的相关XML文件并启动Hadoop。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Linux -单机为分布hadoop 安装步骤
1.安装JDK
（如果没有安装jdk,看另一个帖子安装，否则跳过）
https://blog.youkuaiyun.com/r250tgc/article/details/89481680
安装jdk 完成后执行以下
2.安装maven
如果没有安装maven,看另一个帖子安装，否则跳过
https://blog.youkuaiyun.com/r250tgc/article/details/89519206
安装maven 完成后执行以下
3.创建Hadoop用户
为Hadoop创建一个专门的用户组如hadoop-user，然后在该用户组下创建Hadoop用户。可在安装系统的时候创建，也可以在安装好之后用如下命令创建：

groupadd hadoop-user
useradd -g hadoop-user -d /home/hadoop -m -s /bin/bash hadoop

在这里插入图片描述
给hadoop 用户设置口令

passwd hadoop

输入密码
验证密码
在这里插入图片描述
重启进入hadoop 用户
4.安装hadoop
下载hadoop 2.7.1 到~/Dowload/
创建hadoop的安装目录

mkdir ~/hadoop_installs

将下载的hadoop-2.7.1.tar.gz包放在~/hadoop_installs/里面，然后解压

tar -zxvf hadoop-2.7.1.tar.gz

在这里插入图片描述
编辑profile文件
要编辑/etc/profile 文件首先要让hadoop 用户有sudo权限(如果没有则赋予)
https://blog.youkuaiyun.com/r250tgc/article/details/89519425
进入hadoop 用户，开始写hadoop 的环境变量

sudo vim /etc/profile

环境变量

export HADOOP_HOME=/home/hadoop/hadoop_installs/hadoop-2.7.1
export PATH=${PATH}:${HADOP_HOME}/bin:${HADOOP_HOME}/sbin

在这里插入图片描述
使之生效

source /etc/profile

5.免密码访问ssh
安装ssh
(https://blog.youkuaiyun.com/r250tgc/article/details/89490532)
安装成功后执行以下
到~/.ssh 目录

ssh-keygen -t rsa -P "“

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

scpauthorized_keys

6.配置hadoop

到~/hadoop_installs/hadoop-2.7.1/etc/hadoop目录
在这里插入图片描述
写 hadoop-env.sh 文件

export JAVA_HOME=/usr/jdk/jdk1.8.0_211

写core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

写mapred-site.xml

cp mapred-site.xml.example mapred-site.xml

vim mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

写hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

写yarn-site.xml

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name> 
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

格式化namemode 节点
在hadoop 的bin目录