hadoop slaves文件_Hadoop 集群的安装配置

本文详细介绍了如何在本地搭建Hadoop 2.7.5集群,包括HDFS、Yarn和MapReduce的配置安装。从下载安装包、配置core-site.xml、hdfs-site.xml、slaves文件,到创建目录、启动验证,以及Yarn和MapReduce的相关配置,每一步都有清晰的指导。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

39a74a595a54e8864ef894c1e9378cbf.png

写在前面


如果你想通过这篇博客在本地成功搭建 Hadoop 集群的话,你需要先跟着视频课程 :

3 天入门大数据技术/Linux/Hadoop/Spark​ke.qq.com
6fac5a866e38523921f5201154d9e94f.png

在本地搭建集群环境,在这个视频课程中你需要学习的章节是:

  1. VMWare WorkStation 安装
  2. 创建虚拟机
  3. 安装 Centos 7 操作系统
  4. Centos 7 网络配置方式说明
  5. Centos 7 网络配置
  6. 使用客户端登录操作虚拟机
  7. 克隆三台虚拟机
  8. 修改主机名
  9. ip 映射主机名
  10. 配置无密钥登录
  11. 虚拟机的文件上传和下载
  12. 关闭防火墙
  13. 安装 Java

请在看本篇博客之前务必学习完上面视频课程中章节,如果你能学习完 三天入门大数据实操课程 所有的章节的话就更好,因为你学完这个课程可以有以下三大收获:

1. 搭建一个属于自己的大数据集群
2. 使用大数据技术处理大数据文件
3. 建立大数据技术知识体系架构

Hadoop 安装

Hadoop 3.x 详细安装步骤请参考:

3 天入门大数据技术/Linux/Hadoop/Spark​ke.qq.com
6fac5a866e38523921f5201154d9e94f.png

本篇文章是 Hadoop 2.x 安装步骤

安装前

分别在 master、slave1、slave2 三台机器的 root 用户下的主目录下创建目录 bigdata,即执行下面的命令:

mkdir ~/bigdata

Hadoop 安装包下载

我们下载安装包的时候一般会去官网下载,Hadoop 的官网是:https://hadoop.apache.org/ 。

Hadoop 所有版本的安装包都放在 https://archive.apache.org/dist/hadoop/common/ 这个网址中,我们可以根据自己的需求下载相应的版本。

我们这篇文章以 Hadoop 2.x 系列的 Hadoop 2.7.5 版本为例来进行安装。实际上,Hadoop 2 中的所有版本的安装步骤基本都是一致的。我们可以在 master 机器上通过下面的命令来下载 Hadoop 安装包:

## 进入到主目录下的 bigdata 目录下 cd ~/bigdata  
## 使用 wget 下载 hadoop 2.7.5 的安装包 

wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz

第一次运行上面的 wget 命令的时候,会报如下的错误:

[root@master bigdata]# wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz 
-bash: wget: command not found

当出现上面的错误的时候,我们需要使用 yum 来安装 wget :

## 安装 wget 命令 
yum -y install wget

然后再执行下面的命令:

## 使用 wget 下载 hadoop 2.7.5 的安装包 
wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值