伪分布式+分布式安装Hadoop（两个节点）

最新推荐文章于 2024-04-26 18:08:02 发布
置顶 最新推荐文章于 2024-04-26 18:08:02 发布
阅读量1.2k 收藏 12
点赞数 3
分类专栏： 工具使用类 文章标签： 虚拟机中安装Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_30693057/article/details/89265329
版权
本文详细介绍了在Linux环境下安装配置JDK及Hadoop的过程，包括系统准备、网络配置、远程连接、JDK与Hadoop的安装、环境变量配置、Hadoop配置文件修改及集群测试。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. 准备一个新的Linux系统，我这里从之前安装好的Linux中克隆一个
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  2. 更改新系统的设备参数设置，参考本地硬件设置合理参数
    在这里插入图片描述
  3. 启动Linux，更改主机名为master
		[zhao@localhost ~]$ su #切换至root用户下
		[root@localhost zhao]# vim /etc/hostname #修改主机名

在这里插入图片描述

		[root@localhost zhao]# reboot   #重启Linux系统使更改生效

在这里插入图片描述
4. 配置网络环境

	[zhao@master ~]$ nmtui  #配置网卡信息，图形化工具

在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

		[zhao@master ~]$ ifconfig #查看网卡信息

在这里插入图片描述

	[zhao@master ~]$ ping www.baidu.com     #ping 百度，测试是否成功， ctrl+c 结束测试

在这里插入图片描述
在这里插入图片描述

5.使用Xshell远程连接Linux（这样就不需要进入Vmware虚拟机中操作Linux，提高了工作效率）

在这里插入图片描述
在这里插入图片描述

6. 安装JDK（Java环境）

步骤如下：

  • 上传jdk安装包到Linux的/home/zhao目录下
  • 解压jdk压缩包
  • 重命名解压后的文件名（便于后续配置时书写命令）
  • 配置jdk环境变量
    （1）利用xshell上传下载的 jdk-8u162-linux-x64.tar.gz到/home/zhao目录下
    在这里插入图片描述
    （2）解压压缩包
		[zhao@master ~]$ tar -zxvf jdk-8u162-linux-x64.tar.gz

在这里插入图片描述
（3）将文件夹jdk1.8.0_162重命名（为了方便后续配置书写命令，也可以不修改）
[zhao@master ~]$ mv jdk1.8.0_162/ jdk #将原文件名jdk1.8.0_162更改为jdk
在这里插入图片描述
（4）配置jdk环境变量

      	[zhao@master ~]$ vim ./.bash_profile
      	在文件中追加,然后保存退出
      	export JAVA_HOME=/home/zhao/jdk
   		export JRE_HOME=$JAVA_HOME/jre
   		export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
   		export PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述

  	[zhao@master ~]$ source ./.bash_profile  #立即生效
  	[zhao@master ~]$ java -version   #查看Java版本信息

在这里插入图片描述
– 注意：
如果显示的版本号不是自己安装的版本时，说明Linux系统自带了jdk，且是全局的，此时有两种解决方案。
①将自己的jdk环境变量配置到/etc/profile中，形成全局环境变量
②卸载掉系统自带的jdk

			[zhao@master ~]$ rpm -qa|grep java 
			[zhao@master ~]$ sudo yum remove java-1.7.0-openjdk-headless.x86_64 -y  # java-1.7.0-openjdk-headless.x86_64 为上述过滤中显示的后两项之一
			[zhao@master ~]$ sudo yum remove java-1.8.0-openjdk-headless.x86_64 -y	#java-1.8.0-openjdk-headless.x86_64 为上述过来中显示的后两项之一

③ 再次使用 source ~/.bash_profile
④ 使用 java -version 查看版本是否正确
至此jdk安装完毕

6.安装Hadoop

（一）伪分布安装步骤

  • 修改/etc/hosts文件
  • 配置ssh免密钥登录
  • 上传Hadoop的压缩包到/home/zhao
  • 解压Hadoop压缩包
  • 重命名解压后文件（与jdk重命名作用相同）
  • 配置Hadoop环境变量（与jdk配置类似）
  • 修改Hadoop的配置文件
  • 格式化namenode
  • 启动集群测试伪分布式是否安装成功

（二）分布式安装步骤

  • 关闭集群
  • 克隆Linux
  • 修改主机名为slave
  • 修改ip地址为 192.168.241.131
  • 在/etc/hosts中添加slave（master、slave都需要做）
  • 配置ssh免密登录
  • 修改配置文件slaves
  • 启动集群

伪分布式安装详情如下

（1） 修改/etc/hosts文件

	[zhao@master ~]$ sudo vim /etc/hosts
	[zhao@master ~]$ ping master

在这里插入图片描述在这里插入图片描述
（2）配置ssh免密钥登录

	[zhao@master ~]$ ssh-keygen -t rsa

在这里插入图片描述

	[zhao@master ~]$ cat ./.ssh/id_rsa.pub >> ./.ssh/authorized_keys #将公钥追加到authorized_keys文件。因为免密钥登录时，系统会检索authorized文件
	[zhao@master ~]$ chmod 700 .ssh/  #修改.ssh文件夹权限
	[zhao@master ~]$ chmod 600 .ssh/* #修改.ssh文件夹下文件权限

在这里插入图片描述
（3）上传Hadoop的压缩包到/home/zhao（与上传jdk类似，直接将压缩包拖入到Xshell窗口）
在这里插入图片描述
（4）解压Hadoop压缩包

	[zhao@master ~]$ tar -zxvf hadoop-2.7.1.tar.gz

在这里插入图片描述
（5）重命名解压后文件（与jdk重命名作用相同）

	[zhao@master ~]$ mv hadoop-2.7.1 hadoop


（6）配置Hadoop环境变量

	[zhao@master ~]$ vim ./.bash_profile
	# 追加信息如下
	export HADOOP_HOME=/home/zhao/hadoop
	export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述

	[zhao@master ~]$ source ./.bash_profile    #立即生效

在这里插入图片描述
（7）修改Hadoop配置文件

	[zhao@master ~]$ cd hadoop/etc/hadoop/  # 进入Hadoop配置文件目录
  • 配置core-site.xml
    [zhao@master hadoop]$ vim core-site.xml  #配置信息如下

	<configuration>
        <property>
                <name>fs.defaultFS</name> #配置Hadoop默认端口
                <value>hdfs://master:9000</value> 
        </property>
        <property>
                <name>hadoop.tmp.dir</name> #配置Hadoop临时文件保存路径
                <value>file:/home/zhao/hadoop/tmp</value>
        </property>
     </configuration>

在这里插入图片描述

  • 配置hdfs-site.xml
		[zhao@master hadoop]$ vim hdfs-site.xml

# 配置信息如下：
<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name> #配置第二名称节点端口号
                <value>master:50090</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name> #配置namenode数据保存路径
                <value>file:/home/zhao/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name> #配置datanode数据保存路径
                <value>file:/home/zhao/hadoop/tmp/dfs/data</value>
        </property>
        <property>
                <name>dfs.replication</name> #配置数据备份个数，因为现在采用伪分布方式故先设置为1，等配置分布式方式时再修改
                <value>1</value>
        </property>
</configuration>

在这里插入图片描述

  • 配置mapred-site.xml
	[zhao@master hadoop]$ cp  mapred-site.xml.template   mapred-site.xml  #复制模板并重命名

在这里插入图片描述

	[zhao@master hadoop]$ vim mapred-site.xml   

 #  配置信息如下：
  <configuration>
        <property>
                <name>mapreduce.framework.name</name> #mapReduce的资源调度框架采用yarn
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name> #jobhistory服务器端地址
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name> #jobhistory的Web端地址
                <value>master:19888</value>
        </property>
  </configuration>

在这里插入图片描述

  • 配置 yarn-site.xml
	[zhao@master hadoop]$ vim yarn-site.xml

# 配置信息如下：
	<configuration>
        <property>
                <name>yarn.resourcemanage.hostname</name> #配置担当resourcemanage的节点
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name> #reduce获取数据方式为shuffle
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

在这里插入图片描述

	[zhao@master hadoop]$ vim yarn-env.sh

在这里插入图片描述

  • mapred-env.sh添加jdk路径
	[zhao@master hadoop]$ vim mapred-env.sh

在这里插入图片描述

	[zhao@master hadoop]$ vim hadoop-env.sh

在这里插入图片描述

  • slaves 添加Datanode主机名
	[zhao@master hadoop]$ vim slaves

在这里插入图片描述
（8）格式化NameNode

	[zhao@master hadoop]$ hdfs namenode -format  #格式化NameNode

在这里插入图片描述
（9）启动集群 测试伪分布式是否安装成功

	[zhao@master hadoop]$ start-dfs.sh  #启动HDFS

在这里插入图片描述

	[zhao@master hadoop]$ jps  #查看进程命令

在这里插入图片描述

	[zhao@master hadoop]$ start-yarn.sh  #启动yarn

在这里插入图片描述

分布式安装详情如下

（1）关闭集群

		[zhao@master hadoop]$ stop-all.sh  #同时关闭 HDFS 和 YARN

在这里插入图片描述
（2）关闭master再克隆master，将新得到的Linux当做slave，用于充当DataNode
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

** 开启新克隆的Linux，以下操作在新克隆的Linux上执行，因为新克隆的Linux，两台Linux主机名称一样，注意区分
（3）修改主机名称为slave（在新克隆的Linux上执行）

	[zhao@master ~]$ sudo vim /etc/hostname

在这里插入图片描述

	[zhao@master ~]$ reboot  #重启系统

在这里插入图片描述
之后执行命令时 先看清是在slave 执行还是在 master执行 ，通过主机名可以区分

（4）修改ip地址

	[zhao@slave ~]$ nmtui  #图形化修改网卡

在这里插入图片描述
在这里插入图片描述

		[zhao@slave ~]$ ifconfig  #查看网卡信息

在这里插入图片描述
在这里插入图片描述
（3）在/etc/hosts中添加slave（master、slave都需要做）

	[zhao@slave ~]$ sudo vim /etc/hosts #在slave端

在这里插入图片描述

	[zhao@master ~]$ sudo vim /etc/hosts #在master端

在这里插入图片描述
（4）配置ssh免密钥（因为slave克隆的master，所以slave可以登陆master，而master不能登录slave，故需要在slave端生成公钥发送给master）

	[zhao@slave .ssh]$ ssh-keygen -t rsa  #生成公钥和私钥。（因为之前克隆的master，故slave上有之前生成的master的公钥和私钥,输入该命令时会询问是否覆盖掉之前的，输入Y，这样就会生成slave的公钥和私钥，替换掉了之前master的公钥和私钥）

在这里插入图片描述

	[zhao@slave ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  #实现自己免密登录自己

在这里插入图片描述

	[zhao@slave ~]$ scp ~/.ssh/authorized_keys  zhao@master:/home/zhao/.ssh/
	#将salve的authorized_keys远程传送到master，覆盖掉master中的authorized_keys。这样master就可以免密登录slave

在这里插入图片描述
（5）修改Hadoop的配置文件slaves （master，与slave 都需要修改）

	[zhao@slave ~]$ vim ~/hadoop/etc/hadoop/slaves #在slave执行

在这里插入图片描述

	[zhao@master ~]$ vim ~/hadoop/etc/hadoop/slaves #在master执行

在这里插入图片描述
（6）在master上启动集群

	[zhao@master ~]$ start-dfs.sh #启动HDFS

在这里插入图片描述
在这里插入图片描述

	[zhao@master ~]$ start-yarn.sh  #在master上启动yarn

在这里插入图片描述
在这里插入图片描述
（7）通过window的Web页面查看HDFS

  • 关闭master和slave的防火墙,分别在master与slave执行下列命令
	[zhao@master ~]$ sudo systemctl stop firewalld

在浏览器中输入 192.168.241.130：50070
在这里插入图片描述
在这里插入图片描述

【linux】CentOS8 Hadoop伪分布式环境搭建（三台节点机）
weixin_45788900的博客
11-05 3754
文章目录前言一、伪分布式集群分别是什么？二、安装Hadoop三、伪分布式环境搭建四、启动Hadoop五、添加两个节点机 前言 1.本篇文章主要参考博客：点击进入，整合了伪分布的环境搭建和一些踩坑事项。2.环境搭建的节点机一共三台：pc1，pc2，pc3 ，其中pc1为管理机，三台节点机都使用用户Sillyhumans，如果你三台机器的用户名不一样，下面配置地址的时候可能要略作修改。3.关闭防火墙后操作 一、伪分布式集群分别是什么？ 简单来说就是一台机器上模拟多台机器的集成分布（假装自己有多台服务器） .
hadoop伪分布式安装
YYY7769的博客
04-20 2527
在这个文件最后换行添加如下三行：vi /etc/profile # JDK export JAVA_HOME=/opt/jdk export PATH=$JAVA_HOME/bin:$PATH在这个文件最后换行添加如下三行：vi /etc/profile#HADOOP export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin进行免密登录需要安装ssh如果有openssh-clients、openss
hadoop3.3.1简单的两节点集群
神棍之路
11-18 2159
系统 CentOS7.9 节点 10.1.1.10 namenode 10.1.1.11 datanode 设置主机名 hostnamectl set-hostname namenode hostnamectl set-hostname datanode cat>/etc/hosts<<EOF 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 loc
hadoop伪分布式集群（单节点与多节点）配置
huahuaxiaoshao的博客
06-07 1897
单节点伪分布式集群搭建和多节点伪分布式搭建。
双节点hadoop集群安装部署
辉子的专栏
07-14 478
1 说明 创建日期：2021-07-14 文中的操作步骤如果没有特别说明，需要两台服务器都执行操作，特殊情况会在每个步骤后边标明 2 前期准备 视情况安装基础软件，可参考《服务器安装基础软件和配置.md》 2.1 准备机器 server1 ip: 192.168.100.119 hostname: hadoop01 (后边的操作中修改为此名称) role: master cpu: 8C memory: 16G disk: 200G server2 ip: 192.168.100.166 hostnam
Hadoop集群部署总结(两个节点部署)
advent86的专栏
04-26 956
关于两个节点的集群部署，可以先参考，单个节点的伪集群部署的总结（https://blog.youkuaiyun.com/advent_java/article/details/105773087） 一、关于core-site.xml文件 <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" ...
1.Hadoop的安装与配置（伪分布式+完全分布式）.docx
01-25
本教程将指导你如何在虚拟机上安装和配置 Hadoop，包括伪分布式和完全分布式两种模式。 首先，我们需要创建虚拟机。在创建虚拟机的过程中，选择“自定义（高级）”选项，然后依次点击“下一步”按钮，直到你选择...
Hadoop3.1.3安装和单机/伪分布式配置
最新发布
06-21
- **定义**：Hadoop可以在单个节点上以伪分布式模式运行，这意味着虽然只有一个物理节点，但是不同的Hadoop组件（如NameNode和DataNode）会分别运行在不同的Java进程中。 - **特点**： - 模拟了分布式环境。 - 有...
搭建单机伪分布式Hadoop+spark+scala
weixin_74331328的博客
04-26 1132
hdfs://master#注意这里是ip映射可改为自己的ip地址。/usr/local/src/hadoop/tmp
hadoop的伪分布式模式配置与安装伪分布式模式
11-26
【标题】: "Hadoop伪分布式模式的配置与安装指南" 【内容】: Hadoop是一个开源的分布式计算框架，主要用于处理和存储大量数据。在学习和测试Hadoop时，我们通常会采用伪分布式模式，它在单个节点上模拟整个Hadoop...
Hadoop单节点伪分布式搭建中文版
11-09
Hadoop单节点伪分布式搭建中文版 个人翻译的Hadoop搭建文档，这里只是翻译了伪分布式搭建。 如果是测试、学习hadoop，伪分布式足够了。
linux系统下hadoop伪分布式安装,Linux[CentOS 7]下搭建hadoop伪分布式
weixin_29022821的博客
05-01 217
最近闲来无事，又拿起了hadoop，在本地搭建了一个伪分布式，步骤有点多，特此记录一下下面开始搞！首先你得有jdk和hadoop的tar包，这个自行去下载哈，网上有很多(版本建议jdk1.8、hadoop建议2.x.)我是把包放在了opt这个目录下如图我这里是新建了一个文件夹来进行存放，为了便于管理mkdir jdkmkdir hadoop下面进行解压tar -zxvf 文件路径 -C 解压路径这...
hadoop2.8.0+cenos6.5搭建伪分布式多节点集群
BigLan
08-27 290
安装jdk 我们现在一台虚拟机上安装jdk，然后再进行克隆 先卸载原有的jdk，重新安装与你的hadoop相配的版本，我这里选用的是jdk1.8.0_181将jdk文件放到你想要的目录（一般为/usr/local/java），随后配置环境变量 编辑/etc/profile文件，在末尾添加 JAVA_HOME=/usr/local/java/jdk1.8.0_181 JRE_HOME=/usr/lo...
hadoop(一)--双节点集群搭建
jasnet_u的博客
06-02 1992
一、环境准备     虚拟机：2台，centos6.5 x86_64系统          hadoopNode01   192.168.9.11          hadoopNode02   192.168.9.12      jdk：jdk-7u80-linux-x64.tar.gz (7系列的最后一个版本)      hadoop： hadoop-2.7.6.tar.gz   (2.7系列...
Hadoop集群（双节点）安装配置
itjiangpo的博客
02-27 2618
集群安装前置条件 已掌握Hadoop单机伪分布式安装配置，否则先查看Hadoop伪分布式安装与配置。 环境 Ubuntu 18.04 + JDK 1.8 + Hadoop 2.10 + SSH 本教程简单的使用两个节点作为集群环境：一个Master节点，一个Slave节点。 准备工作 Hadoop 集群的安装配置大致为如下流程: 选定一台机器作为 Master 在 Ma...
hadoop伪分布式的搭建
2203_75542663的博客
03-26 969
因为虚拟机网络采用bridge桥接方式，客户机和宿主机在同一个局域网中，因此按如下方式设置客户操作系统的IP地址 客户操作系统的IP地址和主操作系统在同一网段 客户操作系统的网关和主操作系统一致 客户操作系统的DNS和主操作系统一致。Hadoop的核心配置文件有多个：hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。--配置web ui访问端口（默认端口为8088）-->
hadoop伪分布式搭建
小忐忑的博客
09-20 1658
开始之前，先将jdk和hadoop的安装包上传到/root，目录下 1.安装jdk 创建安装目录 mkdir /usr/local/java 解压jdk tar -zxvf jdk-8u152-linux-x64.tar.gz -C mkdir /usr/local/java 改个好写的名字 mv /usr/local/java/jdk1.8.0_152 /usr/local/java/java 配置环境变量 vim /etc/profile 写入jdk安装路径 export JAVA_HOME=
zookeeper伪分布式集群，单机多节点搭建
beitacat的博客
08-07 275
zookeeper 创建单机伪节点 版本:zookeeper-3.4.14（apache获取） 系统：阿里云-centos7.5 根据zk半数以上实例可用则集群可用的原则，创建3个节点的集群 mkdir zookeeper-cluster cdzookeeper-cluster mkdir 1 mkdir 2 mkdir 3 文件1，2，3分别放3个zk ...
Hadoop集群安装部署---从单节点的伪分布式扩展为多节点分布式
Tyshawn的博客
05-13 1812
Hadoop集群安装部署---单节点伪分布式 一：slave环境配置 1、设置静态ip（manual） master： IP地址：192.168.77.70 子网掩码：255.255.255.0 网关：192.168.77.2 slave： IP地址：192.168.77.80 子网掩码：255.255.255.0 网关：192.168.77.2 2、
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值