Hadoop安装环境2.x

最新推荐文章于 2024-01-30 21:01:06 发布
原创 最新推荐文章于 2024-01-30 21:01:06 发布 · 373 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文档详细介绍了如何在Centos 7环境下安装Hadoop 2.x，包括从源码包下载、集群环境设置、修改主机名和IP地址、SSH互信配置、JDK安装到Hadoop的格式化和启动。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【环境安装Centos 7】Hadoop2.x

0. Hadoop源码包下载

http://mirror.bit.edu.cn/apache/hadoop/common

1. 集群环境

Master 192.168.10.10
Slave1 192.168.10.11
Slave2 192.168.10.12

2. 下载安装包

#Master
cd /usr/local/src/
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.2/hadoop-2.8.2.tar.gz
tar zxvf hadoop-2.8.2.tar.gz

2.1关闭系统防火墙及内核防火墙
#Master、Slave1、Slave2
启动： systemctl start firewalld
关闭： systemctl stop firewalld
查看状态： systemctl status firewalld 
开机禁用  ： systemctl disable firewalld
开机启用  ： systemctl enable firewalld

#临时关闭内核防火墙
setenforce 0
#永久关闭内核防火墙
vim /etc/selinux/config
SELINUX=disabled

在这里插入图片描述

3. 修改主机名

#Master
hostnamectl set-hostname master【永久修改，重启生效】
hostname master【临时修改，重启失效】
vim /etc/sysconfig/network
	NETWORKING=yes
	HOSTNAME=master
#Slave1
hostnamectl set-hostname slave1【永久修改，重启生效】
hostname master【临时修改，重启失效】
vim /etc/sysconfig/network
	NETWORKING=yes
	HOSTNAME=slave1
#Slave2
hostnamectl set-hostname slave2【永久修改，重启生效】
hostname master【临时修改，重启失效】
vim /etc/sysconfig/network
	NETWORKING=yes
	HOSTNAME=slave2

4. 修改IP地址

#Master、Slave1、Slave2
vim /etc/sysconfig/network-scripts/ifcfg-ens33 
	TYPE=Ethernet
	PROXY_METHOD=none
	BROWSER_ONLY=no
	BOOTPROTO=static
	DEFROUTE=yes
	IPV4_FAILURE_FATAL=no
	NAME=ens33
	#UUID=c03dd2ee-8d79-4a0f-9237-fb4d1039abf0
	DEVICE=ens33
	ONBOOT=yes
	IPADDR=192.168.10.10
	NETMASK=255.255.255.0
	GATEWAY=192.168.10.2
	DNS1=192.168.10.2

5. 修改主机文件

#Master、Slave1、Slave2
vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
# 以下是添加的
	192.168.11.x master
	192.168.11.x slave1
	192.168.11.x slave2
	
# 将master节点的hosts文件分发到slave节点：
scp /etc/hosts root@slave1:/etc/
scp /etc/hosts root@slave2:/etc/

6.启动ssh无密码登录

#Master、Slave1、Slave2
#在master节点的/etc/ssh/sshd_config文件中去掉注释
#在这个文件中只有“Authentication：”选项，修改这个就行~~
vim /etc/ssh/sshd_config
	RSAAuthentication yes      #开启私钥验证
	PubkeyAuthentication yes   #开启公钥验证
#再次通过scp命令将sshd_config文件分发到其他节点
	scp /etc/ssh/sshd_config root@slave1:/etc/ssh/
	scp /etc/ssh/sshd_config root@slave2:/etc/ssh/

6. SSH互信配置

#Master、Slave1、Slave2
#生成密钥对（公钥和私钥）
ssh-keygen -t rsa -P ' '
#三次回车
结果如下：
[root@master ~]# ssh-keygen -t rsa -P ''
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
22:42:2d:15:39:cc:f6:4a:9c:da:57:5b:55:b8:18:5d root@master
The key's randomart image is:
+--[ RSA 2048]----+
|   ooo     . +E  |
|   o*     . +    |
|  oo.+     + .   |
| . .+ . . o .    |
|  .+....So       |
|  ..o....        |
|     .           |
|                 |
|                 |
+-----------------+

#在master节点执行：
cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys

#相互追加Key
#Master
ssh slave1 cat /root/.ssh/authorized_keys >> /root/.ssh/authorized_keys
ssh slave2 cat /root/.ssh/authorized_keys >> /root/.ssh/authorized_keys

#Slave1
ssh master cat /root/.ssh/authorized_keys > /root/.ssh/authorized_keys

#Slave2
ssh master cat /root/.ssh/authorized_keys > /root/.ssh/authorized_keys

#重启sshd服务：【每个节点都要重启】
systemctl restart sshd.service

#验证ssh无密码登录
[root@master]# 
[root@master]# ssh slave1
Last login: Tue Jun 26 11:35:53 2018 from master
[root@slave1 ~]# 
第一次会提示你输入密码，在选择yes/no的 时候，输入yes
成功，结束~~

7. 安装JDK

http://www.oracle.com/technetwork/java/javase/downloads/index.html
在这里插入图片描述

卸载
查看已经安装的jdk
[root@master]# rpm -qa|grep jdk
java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64
java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64
java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64

卸载命令：
[root@master]#yum -y remove java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64

卸载完之后java命令不被识别:
[root@master]# java -version
bash: java: command not found...

#Master
cd /usr/local/src
wget 具体已上面的链接地址为准
tar zxvf jdk1.8.0_152.tar.gz

#Master、Slave1、Slave2
#安装完毕后在/etc/profile文件末尾添加：
vim /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_101
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

使文件生效：
[root@master]# source /etc/profile

JDK拷贝到Slave主机
#Master
scp -r /usr/local/src/jdk1.8.0_152 root@slave1:/usr/local/src/
scp -r /usr/local/src/jdk1.8.0_152 root@slave2:/usr/local/src/

8. 下载Hadoop

#Master
cd /usr/local/src
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-2.6.5.tar.gz
tar zxvf hadoop-2.6.5.tar.gz
cd hadoop-1.2.1

# 修改配置文件 在第24行添加Java的环境变量
cd hadoop-2.6.5/etc/hadoop/
vim hadoop-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_191

# 修改配置文件 在第24行添加Java的环境变量
vim yarn-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_191

# 修改配置文件添加从节点主机名
vim slaves
slave1
slave2

# 修改配置文件 添加RPC配置
vim core-site.xml
	<configuration>
		<property>
			<name>fs.defaultFS</name>
			<value>hdfs://192.168.10.10:9000</value>
		</property>
		<property>
			<name>hadoop.tmp.dir</name>
			<value>file:/usr/local/src/hadoop-2.6.5/tmp</value>
		</property>
	</configuration>
	
# 修改配置文件 添加DFS配置
vim hdfs-site.xml
	<configuration>
		<property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>master:9001</value>
		</property>
		<property>
			<name>dfs.namenode.name.dir</name>
			<value>file:/usr/local/src/hadoop-2.6.5/dfs/name</value>
		</property>
		<property>
			<name>dfs.datanode.data.dir</name>
			<value>file:/usr/local/src/hadoop-2.6.5/dfs/data</value>
		</property>
		<property>
			<name>dfs.replication</name>
			<value>3</value>
		</property>
	</configuration>

# 修改配置文件 添加MR配置
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
	<configuration>
		<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
		</property>
	</configuration>

# 修改配置文件 添加资源管理配置
vim yarn-site.xml
	<configuration>
		<property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
		</property>
		<property>
			<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
			<value>org.apache.hadoop.mapred.ShuffleHandler</value>
		</property>
		<property>
			<name>yarn.resourcemanager.address</name>
			<value>master:8032</value>
		</property>
		<property>
			<name>yarn.resourcemanager.scheduler.address</name>
			<value>master:8030</value>
		</property>
		<property>
			<name>yarn.resourcemanager.resource-tracker.address</name>
			<value>master:8035</value>
		</property>
		<property>
			<name>yarn.resourcemanager.admin.address</name>
			<value>master:8033</value>
		</property>
		<property>
			<name>yarn.resourcemanager.webapp.address</name>
			<value>master:8088</value>
		</property>
</configuration>

创建临时目录和文件目录

mkdir /usr/local/src/hadoop-2.6.5/tmp
mkdir -p /usr/local/src/hadoop-2.6.5/dfs/name
mkdir -p /usr/local/src/hadoop-2.6.5/dfs/data

配置环境变量，在配置最后加入

vim /etc/profile
HADOOP_HOME=/usr/local/src/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin

# 复制环境变量到从节点
scp /etc/profile root@slave1:/etc/profile
scp /etc/profile root@slave2:/etc/profile

# 复制Hadoop包到从节点
scp -r /usr/local/src/hadoop-2.6.5 root@slave1:/usr/local/src/
scp -r /usr/local/src/hadoop-2.6.5 root@slave2:/usr/local/src/

# 重新加载环境变量
source /etc/profile

格式化Namenode

[root@master src]# hadoop namenode -format
# 提示下列内容即是成功完成格式化
common.Storage: Storage directory /usr/local/src/hadoop-2.6.5/dfs/name has
been successfully formatted

启动集群

[root@master src]# /usr/local/src/hadoop-2.6.5/sbin/start-all.sh

查看服务进程

[root@master src]#  jps

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Hadoop环境安装篇
penggougoude的博客
09-02 1118
1、 Hadoop初识 Hadoop基本架构：Hadoop由两部分组成，分别是分布式文件系统HDFS和分布式计算框架MapReduce。其中，分布式文件系统主要用于大规模数据的分布式存储，而MapReduce则构建在分布式文件系统之上，对存储在分布式文件系统中的数据进行分布式计算。 在Hadoop中，MapReduce底层的分布式文件系统是独立模块，用户按照约定的一套接口实现自己的分布式文件系...
大数据应用之Hadoop环境安装与配置完全解析
sinat_30844883的博客
07-21 2028
Hadoop是apache公司开源的一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它具有高可靠、高扩展、高效与高容错等特点，是大数据分析与应用的必备技术。
安装Hadoop环境（单机）
m0_72766690的博客
09-25 681
安装单机版Hadoop并进行初始设置
Hadoop运行环境搭建
m0_71369718的博客
10-30 1973
本文主要介绍如何搭建hadoop运行环境，包括创建模板虚拟机、配置NAT模式的网络ip、虚拟机的克隆，以及jdk和hadoop在虚拟机中的安装。
Hadoop2.X的安装与配置（一）准备阶段
weixin_38187469的博客
04-11 809
       Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。       Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量...
Hadoop 2.x与3.x 22点比较,Hadoop 3.x比2.x的改进
09-30
12. 支持Microsoft Windows：Hadoop 3.x支持Windows系统，这使得用户能够更容易地在Windows环境上部署和使用Hadoop。 13. 容器概念：Hadoop 2.x引入了容器概念，允许运行通用任务。Hadoop 3.x继续支持这一概念，...
win32win64hadoop2.7.x.hadoop.dll.bin
01-26
`winutils.exe`是另一个重要的组件，它是Hadoop在Windows上的实用工具，包含了诸如配置Hadoop环境、管理HDFS以及执行其他系统级别的任务等功能。通常，`winutils.exe`会与`hadoop.dll`一起使用，以确保Hadoop在...
hadoop安装与配置.md
最新发布
03-14
### Hadoop安装与配置详细步骤 #### 一、环境准备 1. **操作系统要求：** - CentOS 7.x或Ubuntu 18.04 LTS及以上版本，因为Hadoop对系统有一定的版本要求，较低的系统版本可能无法支持Hadoop的运行。 2. **软件...
初识Hadoop 2.x.pdf
04-05
2. **配置Hadoop环境**：包括设置`HADOOP_HOME`环境变量、配置`core-site.xml`、`hdfs-site.xml`等配置文件。 3. **格式化HDFS**：使用`hdfs namenode -format`命令初始化HDFS。 4. **启动Hadoop服务**：启动...
hadoop.2.7.x.zip
06-05
2. **设置环境变量**: 配置 `HADOOP_HOME` 环境变量指向 Hadoop 的安装目录，并将 `%HADOOP_HOME%\bin` 添加到 `PATH` 变量，确保可以访问 `hadoop` 和 `winutils.exe` 等命令。 3. **配置 Hadoop**: 修改 `hadoop/...
hadoop 2.6.0 64位安装包
12-23
最新版hadoop 64位安装包 centos 6.4 64位机器上编译 由于超过100MB，所以给的网盘链接地址
【Hadoop环境安装】Hadoop2.x
会哭的雨@的博客
09-06 373
0. Hadoop源码包下载 http://mirror.bit.edu.cn/apache/hadoop/common 1. 集群环境 Master 172.16.11.97 Slave1 172.16.11.98 Slave2 172.16.11.99 2. 下载安装包 #Master wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz tar zxvf hadoop-2
安装hadoop
weixin_45530192的博客
11-30 1240
1 安装部署jdk 2 下载 hadoop 命令： wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.1/hadoop-2.6.1.tar.gz 没有wget指令的话 apt install wget 或者 yum install wget 安装 wget工具 3 解压缩 tar zxvf hadoop-2.6.1.tar.gz 4 移动到一个文件夹 自定义 mv hadoop-2.6.1 /app/hadoop-2.6.1
安装Hadoop集群
wux_labs的博客
12-15 499
Spark3.3.1的安装软件包是基于Hadoop3.3+的，为了保持兼容性，这里选择使用Hadoop3.3版本。
Hadoop生态系统官网、下载地址、文档
web18484626332的博客
08-29 1561
Hadoop官网：Hadoop下载：Hadoop历史版本下载：Hadoop文档：Hive官网：Hive下载：Hive历史版本下载：Hive文档：HBase官网：HBase下载：HBase历史版本下载：HBase文档：HBase中文文档：Spark官网：Spark下载：Spark文档：Zookeeper官网：Zookeeper下载：Flume官网：Flume下载：Flume文档：Mahout官网：Mahout下载：Tez官网：下载地址：...
linux下安装hadoop环境
ghhgc的博客
07-13 1258
1. 首先下载hadoop ，官网下载太慢，可以去http://mirror.bit.edu.cn/apache/hadoop/common/下载。下载版本随意，stable版本即可。 2. 上传到Linux服务，我是通过rz命令直接上传的。 3. 解压hadoop文件，解压后目录如下： 然后进行授权。 查看是否安装成功。 4. 按照官网说法，首先修改配置文件。 Hadoop解压目录下，etc/hadoop/core-site.xml: <configuration>
国内镜像下载加速器，示例为hadoop
2401_82356378的博客
01-30 1716
下载地址:北京信息学院镜像 http://mirror.bit.edu.cn/apache/hadoop/common/ 下载地址:清华大学镜像https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/
Hadoop下载安装（ubantu20.04）
Y_C_H的博客
06-06 1187
1.下载Hadoop 下载地址:北京信息学院镜像http://mirror.bit.edu.cn/apache/hadoop/common/ 2. 安装Hadoop 创建Hadoop用户 sudo useradd -m hadoop -s /bin/bash #创建hadoop用户，并使用/bin/bash作为shell sudo passwd hadoop #为hadoop用户设置密码 sudo adduser hadoop sudo #为ha
Windows 64位系统上搭建Hadoop伪分布式环境
sheshouzuomeiyou的博客
06-10 2028
1.安装jdk，设置环境变量 2.下载hadoop2.7.7 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz 3.解压hadoop2.7.7到文件夹下（用好压软件解压） 4.下载hadooponwindows-master（已经上传至百度网盘） 使用hadooponwindows-mast...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值