hadoop入门（单机、集群搭建）

已于 2022-02-10 20:59:59 修改
阅读量1.2k 收藏 11
点赞数
分类专栏： Hadoop 大数据 文章标签： hadoop hdfs big data
于 2020-05-19 09:52:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/BlaineLi/article/details/106207779
版权

文章目录

一、环境准备

系统 ：centos7

hadoop版本：hadoop3.1.3

JDK:1.8

二、jdk配置

1、下载JDK方到指定目录并解压

解压：tar -zxvf jdk-8u221-linux-x64.tar.gz

2、配置java环境变量

vim /etc/profile

在文件末尾添加并保存

export JAVA_HOME=/base/JDK/jdk1.8.0_221
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin

3、让修改后的文件生效

source /etc/profile

4、验证是否配置成功

java -version

若返回
openjdk version "1.8.0_222-ea"
OpenJDK Runtime Environment (build 1.8.0_222-ea-b03)
OpenJDK 64-Bit Server VM (build 25.222-b03, mixed mode)
说明配置成功

三、hadoop运行环境搭建

1、配置ssh免密登录

（1）

ssh-keygen

一直回车

（2）将生成的密钥发送到本机地址

ssh-copy-id localhost

（注意：若报错找不到命令则需要安装openssh-clients执行：yum -y install openssh-clients 即可）

（3）测试免登录是否成功

ssh localhost

2、hadoop环境配置

（1）下载Hadoop

https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

（2）、将下载好的包上传到系统中某个目录下，并解压

tar -zxvf hadoop-3.1.3.tar.gz

（3）、配置环境变量

vim /etc/profile

在文件中添加

export HADOOP_HOME=/base/hadoop/hadoop-3.1.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

让修改后的文件生效

source /etc/profile

（4）、验证是否配置成功

hadoop version

在这里插入图片描述

3、hadoop目录结构说明

（1）、目录结构

在这里插入图片描述

（2）重要目录说明

*bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
*etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
*lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
*sbin目录：存放启动或停止Hadoop相关服务的脚本
*share目录：存放Hadoop的依赖jar包、文档、和官方案例

四、运行HDFS（单机版）

1、HDFS配置

（1）、Hadoop中的重要目录说明

1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本

2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

4）sbin目录：存放启动或停止Hadoop相关服务的脚本

5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

（2）、配置 hadoop下 /etc/hadoop 的 hadoop-env.sh 文件

在该文件中添加Java的JAVA_HOME

export JAVA_HOME=具体目录根据自己的环境配置

（3）、修改 hadoop下 /etc/hadoop 的 core-site.xml 文件

修改如下

<configuration>
	<!--这里路径是namenode 、datanode 等存放的公共临时目录-->
	<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/data_hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>

	<!--设置hdfs中服务的主机和端口号-->
   <property>
        <name>fs.default.name</name>
        <value>hdfs://192.168.249.133:9000</value>
   </property>
</configuration>

（4）、修改 hadoop下 /etc/hadoop 的 hdfs-site.xml 文件

修改如下

<configuration>
	<!--设置hdfs中的namenode文件目录-->
	<property>
	        <name>dfs.namenode.name.dir</name>
	        <value>/opt/data_hadoop/dfs/name</value>
	        <final>true</final>
	</property>

   <!--设置hdfs中的datanode文件目录-->
	<property>
	        <name>dfs.datanode.data.dir</name>
	        <value>/opt/data_hadoop/dfs/data</value>
	        <final>true</final>
	</property>

    <!--设置数据块副本（由于是单机所以1即可）-->
	<property>
	        <name>dfs.replication</name>
	        <value>1</value>
	</property>

   <!--hdfs的访问权限设置为false-->
	<property>
	        <name>dfs.permissions</name>
	        <value>false</value>
	</property>

	<!--web界面访问-->
	<property>
	       <name>dfs.http.address</name>
	       <value>IP:50070</value>
    </property>
</configuration>

（5）、格式化namenod

在启动hadoop集群前需要格式化namenode。需要注意的是，第一次安装Hadoop集群的时候需要格式化Namenode，以后直接启动Hadoop集群即可，不需要重复格式化Namenode。

在Hadoop目录下输入如下命令

bin/hdfs namenode -format

（6）、启动
在hadoop目录下输入

./sbin/start-dfs.sh

若在启动中报错如下：

Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.

则需要在 start-dfs.sh，stop-dfs.sh头部中添加如下信息：

export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"

（7）、访问（根据自己的地址来访问）

在访问前先查看下防火墙是否开着
查看防火墙状态：firewall-cmd --state
若是running，则表示防火墙开着，则需要关闭防火墙.若是not running ，则表示防火墙关闭状态。
关闭防火墙命令：systemctl stop firewalld.service
    

	IP:50070

在这里插入图片描述

五、运行YARN（单机版）

1、配置yarn-env.sh

（1）、配置yarn-env.sh

配置一下 JAVA_HOME
export JAVA_HOME=XXXXX

（2）、配置 yarn-site.xml

</configuration>
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定YARN的ResourceManager的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop21</value>
    </property>
</configuration>

（3）、mapred-env.sh

配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144

（4）、mapred-site.xml

</configuration>
	<!-- 指定MR运行在YARN上 -->
    <property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

（5）、启动
在hadoop目录下输入

./sbin/start-yarn.sh

若在启动中报错如下：

Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.

则需要在 start-yarn.sh，stop-yarn.sh头部中添加如下信息：

export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"

访问：IP:8088
在这里插入图片描述

六、hadoop集群搭建

1、集群规划

hadoop22（192.168.85.22）hadoop23（192.168.85.23）hadoop24（192.168.85.24）
HDFSNameNode
DateNode
DateNode
SecondaryNameNode
DateNode
YARNNodeManagerResourceManager
NodeManager		NodeManager

2、配置集群

选中某一台服务器配置好以下文件。配置完以后要将这些拷贝到其他服务器上。

（1）、核心文件配置

core-site.xml 文件配置

<configuration>
        <!--这里路径是namenode 、datanode 等存放的公共临时目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/base/hadoop/data/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>

    <!--设置hdfs中服务的主机和端口号-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop22:9000</value>
    </property>
</configuration>

（2）、HDFS配置

a、hadoop-env.sh 配置

文件内容加入一下配置

#java环境变量
export JAVA_HOME=/opt/module/jdk1.8.0_144
b、hdfs-site.xml 配置

文件内容加入一下配置

<configuration>
    <!--设置数据块副本（由于是三台所以3）-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop24:50090</value>
    </property>
</configuration>

（3）、YARN配置

a、yarn-env.sh 配置

文件内容加入一下配置

#java环境变量
export JAVA_HOME=/opt/module/jdk1.8.0_144
b、yarn-site.xml 配置

文件内容加入一下配置

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 设置ResourceManage 启动在哪台服务器 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop23</value>
    </property>
    <!-- 开启yarn.webapp.ui2 -->
    <property>
        <description>To enable RM web ui2 application.</description>
        <name>yarn.webapp.ui2.enable</name>
        <value>true</value>
    </property>
    <!-- 默认为true, 当虚拟机内存不够多时，容易超出虚拟机内存 -->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
        <description>Whether virtual memory limits will be enforced for containers.				</description>
    </property>
</configuration>

（4）、MapReduce配置

a、mapred-env.sh 配置

文件内容加入一下配置

#java环境变量
export JAVA_HOME=/opt/module/jdk1.8.0_144
b、mapred-site.xml 配置

文件内容加入一下配置

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!--value对应自己的目录 -->
    <property>
        <name>mapreduce.application.classpath</name>
        <value>/base/hadoop/hadoop-3.1.3/share/hadoop/mapreduce/*:/base/hadoop/hadoop-3.1.3/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

3、配置SSH无密登录

（1）、配置ssh

生成公钥和私钥：

ssh-keygen

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免密登录的目标机器上

ssh-copy-id hadoop22
ssh-copy-id hadoop23
ssh-copy-id hadoop24

注：以上ssh配置都需要在每个服务器上配置一下

4、群起集群配置

（1）、配置workers文件

workers在hadoop主目录下 etc/hadoop/中

vim etc/hadoop/workers

添加以下内容

hadoop22
hadoop23
hadoop24

这些配置需要所有的服务器一致，将这些文件复制到其他服务器即可。

5、启动

如果集群是第一次启动，需要格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

[root@hadoop22 hadoop-3.1.3] ./bin/hdfs namenode -format

（1）、启动HDFS

若在启动中报错如下：

Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.

则需要在 start-dfs.sh，stop-dfs.sh头部中添加如下信息：

export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"

在hadoo22主机上

[root@hadoop22 hadoop-3.1.3]# ./sbin/start-dfs.sh

查看是否启动成功

[root@hadoop22 hadoop-3.1.3]# jps
20242 DataNode
20089 NameNode
23007 Jps

查看其他两个主机

[root@hadoop23 hadoop-3.1.3]# jps
2025 DataNode
23006 Jps

[root@hadoop24 hadoop-3.1.3]# jps
20432 DataNode
2039 SecondaryNameNode
23007 Jps

（2）、启动YARN

若在启动中报错如下：

Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.

则需要在 start-yarn.sh，stop-yarn.sh头部中添加如下信息：

export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。

在hadoo23主机上

[root@hadoop23 hadoop-3.1.3]# ./sbin/start-yarn.sh

6、查看web页面

地址 http://192.168.85.22:9870
在这里插入图片描述

【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建
12-03 3552
独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。单Namenode节点模式-高可用HA模式集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。本教程主要安装 多Namenode 节点 高可用集群模式二、准备工作本高可用参考以上非高
【Hadoop基础教程】2、Hadoop之单机模式搭建
andieguo的专栏
03-05 2700
单机模式所需要的系统资源是最少的，这种安装模式下，Hadoop的core-site.xml、mapred-site.xml、hdfs-site.xml配置文件均为空。默认情况下，官方hadoop-1.2.1.tar.gz文件默认使用的就是单机安装模式。当配置文件为空时，Hadoop完全运行在本地，不与其他节点交互，也不使用Hadoop文件系统，不加载任何守护进程，该模式主要用于开发调试MapRedu
搭建单机版 Hadoop集群
weixin_45970497的博客
04-14 306
Hadoop集群的搭建（单机版） 学习目标： 了解大数据的特点 在centos7中搭建一个单机版的Hadoop集群 学习内容： 提示：这里可以添加要学的内容 例如： 1、 搭建 Java 开发环境 2、 掌握 Java 基本语法 3、 掌握条件语句 4、 掌握循环语句 学习时间： 2021.4.13 学习产出： 大数据特点 ： a. 多样性 a. 大量 a. 高速 a. 价值密度低 a. 真实性 Hadoop起源（有谷歌的收费软件发展而来） ： GFS（Go
Hadoop 环境搭建----单机模式
最新发布
2303_77432012的博客
04-28 388
执行 hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount ~/hadoop-input ~/hadoop-output。操作系统：推荐 Linux（如 Ubuntu/CentOS）或 macOS（Windows 需通过 WSL 或虚拟机）​。下载 Hadoop 版本：选择稳定版本（如 Hadoop 3.3.6）​。
Hadoop单机模式集群搭建
爱偷吃香蕉的萌猴子
03-04 673
Hadoop单机模式集群搭建0、准备192.168.230.13主机，作为搭建hadoop单机模式的主机1、将压缩/安装文件上传到指定目录[root@node4 ~]# cd /opt/software [root@node4 software]# ll total 723384 -rw-r--r-- 1 root root 311430119 Feb 29 09:07 hadoop-2.5.0.t
hadoop单机模式搭建
H6666W的博客
11-25 1582
搭建hadoop单机模式
Hadoop集群单机版搭建
ningyunrui的博客
10-22 341
1.准备 Java和hadoop环境都已经配置好 2.修改主机名和ip映射 vi /etc/hosts 192.168.233.128 zhiyou 3.修改配置文件 注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop /usr/hadoop/hadoop-2.7.3/etc/hadoop 伪分布式需要修改5个配置文件 3.1配置hadoop 3.1. 第一...
Hadoop入门与集群搭建实战指南
"Hadoop入门实战手册是一本详细介绍如何搭建和使用Hadoop的教程，由北京宽连十方数字技术有限公司技术研究部于2011年7月编写。本书涵盖了Hadoop的基本概念、术语、单机及分布式环境的部署、集群搭建、架构分析、应用...
Hadoop和Spark单机版配置、集群搭建.zip
03-14
在进行Hadoop和Spark的单机版配置和集群搭建之前，首先需要了解两者的架构与组件。Hadoop的主要组件包括HDFS用于存储数据，以及YARN用于资源管理。而Spark则是建立在Hadoop生态系统之上的，它可以从Hadoop的数据存储...
Hadoop入门：从单机到集群搭建详解
Hadoop入门指南深入探讨了Apache软件基金会自2005年推出的开源大数据处理框架。Hadoop最初是作为Nutch项目的子项目由Google的MapReduce和Google File System概念启发而创建的。该框架主要目标是解决大规模数据集的...
Hadoop入门：单机部署与集群搭建详解
《Hadoop入门实战手册》是一份详细的指南，旨在帮助读者了解和实践Hadoop技术。Hadoop是一款开源的大数据处理框架，特别适合处理大规模、高并发的数据处理任务，其核心组件包括Hadoop Distributed File System (HDFS...
hadoop环境搭建单机模式
飞腾创客
04-21 494
1、确认安装好jdk2、下载hadoop安装包http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.html3、在/usr/local/下创建hadoop文件   sudo mkdir /usr/local/hadoop4、拷贝夹包到用户root目录下，在拷贝到hadoop下5、解压...
hadoop单机与集群搭建
chruan的专栏
04-10 914
云计算、大数据、互联网的技术交流Q群54224889 一、软件： stable版本的hadoop包，ssh, rsyn, java 帮助文档：在http://hadoop.apache.org下 -> 左边document->stable下 二、注意问题： (1) ssh做到不用密码登陆。 (2) hadoop namenode与datanode的关系，也就是master与slave的
Hadoop单机环境搭建
三暮辰的博客
08-20 602
Hadoop单机环境搭建一、jdk环境二、IP地址和主机名映射三、生成公私钥授权四、下载解压Hadoop五、配置Hadoop环境变量六、修改Hadoop配置文件七、关闭防火墙八、初始化九、启动十、Yarn配置启动 一、jdk环境 从官方下载jdk，版本1.8及以上即可 给个地址：jdk8 Ubuntu环境下载64位链接 二、IP地址和主机名映射 将主机名与IP地址映射，可以用主机名进行任务分发或文件传输以及其他工作 使用hostname命令 ，查看本机的主机名； 使用ip addr命令 ，查看本机的ip地
手把手教Hadoop环境搭建，学不会你咬我～
程序IT圈
11-28 387
之前后台小伙伴私信我想了解hadoop的单机环境安装，以方便用于hadoop学习，今天给大家安排上了，废话不多说，直接上干货。目录前置条件配置 SSH 免密登录Hadoop(HDFS)环...
Hadoop的安装(单机和集群)
weixin_34191845的博客
11-14 133
Hadoop单机的安装 Hadoop的安装包括以下几个步骤： 安装jdk 安装hadoop 安装jdk > vim /etc/profile (在该文件最下面增加以下语句) export JAVA_HOME=/home/app/jdk1.8.0_191 export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH 保存后退出，执行source /...
hadoop集群（单机版）搭建
King_1768的博客
04-12 343
Hadoop单机版搭建 准备一台机器 安装jdk1.8（略） 配置主机名和主机ip的映射 vim /etc/hosts vim /etc/sysconfig/network 解压hadoop 配置hadoop的环境变量 修改配置文件 1、修改hadoop-env.sh /2、修改core-site.xml <property> <na...
搭建hadoop单机模式
洪肥肥的博客
04-17 325
vmware workstation pro ubuntu 16.04 hadoop 2.6.0
Hadoop单机模式搭建
weixin_37548740的博客
04-01 379
首先下载Hadoop，我这里下载的是2．7．6版本，持行tar -xvzf 目录 解压文件 设置免密登录 $ sudo apt-get install ssh $ sudo apt-get install rsync 生成秘钥 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ cat ~/.ssh/id_rsa.pub >&g...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值