大数据-Hadoop集群的安装与配置

原创 已于 2022-09-27 15:00:21 修改 · 767 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #centos #大数据

于 2021-03-10 15:29:06 首次发布
本文详细介绍了如何在CentOS7环境下使用VmWare15安装Hadoop集群的过程，包括配置主机名、网络设置、安装JDK、配置Hadoop环境变量及各配置文件等内容，并提供了SSH免密登录设置和启动验证的方法。

Hadoop集群的安装与配置

前言

1、此次过程中所以操作都要在root下完成
2、虽然此次安装使用的是hadoop-2.9.1，但是推荐安装hadoop-2.7.3版本
3、hadoop最好只初始化一次，否则很容易出现各类问题
4、建议在hadoop初始化前，克隆一个master和slave，避免悔之不及
5、如在初始化后，hadoop存在初始化多次问题，建议重装

提示：以下是本篇文章正文内容

1. VmWare 15安装 CentOS7

新建虚拟机
master

ip：192.168.119.135
网关：192.168.119.2
子网掩码：255.255.255.0

2. Linux设置

修改主机名称和网络名称：

[root@master ~]# vim /etc/hosts
在最后添入以下两行

192.168.119.135 master
192.168.119.136 slave

在这里插入图片描述

[root@master ~]# vim /etc/sysconfig/network

NETWOEKING=yes
HOSTNAME=master

在这里插入图片描述

关闭防火墙：

关闭：[root@master ~]# systemctl stop firewalld.service
禁止开机启动：[root@master ~]# systemctl disable firewalld.service
查看状态：[root@master ~]# firewall-cmd --state
在这里插入图片描述

关闭selinux

[root@master ~]# vim /etc/selinux/config

关闭前：
在这里插入图片描述

关闭后：
在这里插入图片描述

3. 安装 JDK

JDK-8u261
提取码：h91o

查看
[root@master ~]# rpm -qa|grep jdk
在这里插入图片描述

卸载系统自带的JDK
yum -y remove java java-1.8.0
在这里插入图片描述

将下载好的jdk通过xshell拖动到指定的文件夹中并将其解压
在这里插入图片描述

在root下创建文件夹java：
[root@master usr]# mkdir java

将jdk解压到/usr/java/：
[root@master java]# tar -zxvf jdk-8u261-linux-x64.tar.gz

将压缩包删除：[root@master ~]# rm -rf jdk-8u221-linux-x64.tar.gz

配置环境
[root@master ~]# vim /etc/profile

JAVA_HOME=/usr/java/jdk1.8.0_261
JRE_HOME=/usr/java/jdk1.8.0_261/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME
export JRE_HOME
export CLASS_PATH
export PATH

在这里插入图片描述

[root@master ~]# source /etc/profile
[root@master ~]# java -version
在这里插入图片描述

4. 配置Hadoop集群

hadoop-2.7.3
提取码：ag76

hadoop-2.9.1
提取码：27eq

解压

将下载好的hadoop通过xshell拖动到master中
在home下创建文件夹hadoop：[root@master home]# mkdir hadoop
将hadoop解压到/home/hadoop/：[root@master hadoop]# tar -zxvf hadoop-2.9.1.tar.gz

配置环境

[root@master ~]# vim /etc/profile

export HADOOP_HOME=/home/hadoop/hadoop-2.9.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述

[root@master ~]# source /etc/profile
[root@master ~]# hadoop version
在这里插入图片描述

修改配置文件

进入home/hadoop/下的hadoop-2.9.1/etc/hadoop/文件夹中
[root@master hadoop]# cd hadoop-2.9.1/etc/hadoop

[root@master hadoop]# vim slaves
删除localhost 添加从节点的名称:
在这里插入图片描述

以下配置在各个文件的<configuration></configuration>中添加

core-site.xml

[root@master hadoop]# vim core-site.xml

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.9.1/tmp</value>
    </property>

hdfs-site.xml

[root@master hadoop]# vim hdfs-site.xml

    <property>
        <name>dfs.namenode.http.address</name>
        <value>master:50070</value>
    </property>
    <!-- 设置secondarynamenode的http通讯地址 -->
    <property>
        <name>dfs.namenode.secondary.http.address</name>
        <value>slave:50090</value>
    </property>
    <!-- 设置hdfs副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.dir</name>
        <value>/home/hadoop/hadoop-2.9.1/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/hadoop-2.9.1/tmp/dfs/data</value>
    </property>

yarn-site.xml

[root@master hadoop]# vim yarn-site.xml

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8040</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>

mapred-site.xml

[root@Master hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@Master hadoop]# vim mapred-site.xml

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

配置hadoop-env.sh，指定JAVA_HOME
[root@master hadoop]# vim hadoop-env.sh

修改 export JAVA_HOME=/usr/java/jdk1.8.0_261

配置yarn-env.sh，指定JAVA_HOME
[root@master hadoop]# vim yarn-env.sh

修改 export JAVA_HOME=/usr/java/jdk1.8.0_261

配置mapred-env.sh，指定JAVA_HOME
[root@master hadoop]# vim mapred-env.sh

修改 export JAVA_HOME=/usr/java/jdk1.8.0_261

5. 克隆虚拟机slave

将master克隆为slave
克隆前先关闭master。
在这里插入图片描述

配置slave的静态IP：
在这里插入图片描述

重启网络：[master@master ~]$ systemctl restart network.service

[master@master ~]$ ping www.baidu.com
ping 192.168.119.136 检测master、slave是否能相互两两ping通
在这里插入图片描述

修改主机名称
[root@master ~]# vim /etc/hostname
在这里插入图片描述

[root@master ~]# vim /etc/sysconfig/network
在这里插入图片描述

修改后重启slave

6．SSH免密登录

[root@master ~]# ssh-keygen -t rsa
在这里插入图片描述

分别在slave上执行相同的操作
[root@master ~]# cd /root/.ssh
[root@master .ssh]# cat id_rsa.pub >> authorized_keys
[root@master .ssh]# chmod 644 authorized_keys
[root@master .ssh]# scp authorized_keys slave:/root/.ssh/

slave
[root@slave ~]# cd /root/.ssh
[root@slave .ssh]# cat id_rsa.pub >> authorized_keys
[root@slave .ssh]# chmod 644 authorized_keys
[root@slave .ssh]# scp authorized_keys master:/root/.ssh/

验证
登录[root@master .ssh]# ssh slave
在这里插入图片描述

7. 启动Hadoop集群

在master：进入到home/hadoop/hadoop-2.9.1
格式化结点：[root@master hadoop-2.9.1]# bin/hadoop namenode -format

注意：在没有出错的情况下，节点格式化一次即可
启动hadoop集群：[root@master ~]# cd home/hadoop/hadoop-2.9.1/sbin
[root@master sbin]#start-all.sh
[root@master sbin]# jps

在这里插入图片描述

在这里插入图片描述

8、验证安装可以运行hadoop自带的实例。

在浏览器中：192.168.119.135:50070在这里插入图片描述

（1）执行实例程序计算pi

[root@master ~]# cd /home/hadoop/hadoop-2.9.1/share/hadoop/mapreduce
[root@master mapreduce]# hadoop jar hadoop-mapreduce-examples-2.9.1.jar pi 2 2
在这里插入图片描述

（2）wordcount实例（单词计数）

创建文件wordtest ，内容为hello hadoop bye hadoop。
传到hdfs上。
在hdfs上新建/input目录，将wordtest文件传到hdfs上保存。
[root@master mapreduce]# hadoop dfs -mkdir /input
[root@master mapreduce]# hadoop dfs -put wordtest /input
查看文件
[root@master mapreduce]# hadoop dfs -ls /input
在这里插入图片描述

运行wordcount实例。
[root@master mapreduce]# hadoop jar hadoop-mapreduce-examples-2.9.1.jar wordcount /input /output
在这里插入图片描述

Hadoop和Hadoop集群的安装和配置
little_sloth的博客
06-26 705
hadoop和hadoop集群的安装和配置 文章目录hadoop和hadoop集群的安装和配置一、安装centos7.0二、hadoop安装前配置三、安装以及配置Hadoop环境四、启动Hadoop四、测试五、Hadoop集群配置 一、安装centos7.0 安装方式详见：https://blog.youkuaiyun.com/little_sloth/article/details/106785511 二、hadoop安装前配置 安装完虚拟之后，使用moba进行后续操作 1 . 配置免登录: 1） 生成密钥：ss
大数据集群安装学习笔记
大数据基础入门教程
02-11 524
目录 1 安装部署........................................................................... 4 1.1 solr单节点安装部署................................................................. 4 1.1.1 下载......................
CentOS7-Cloudera Manager_5.14.1-大数据集群安装
弓昭的技术博客
07-05 785
前言 本文主要记录Cloudera Manager5.14.1的安装步骤 需要具有一定基础，一些简单的步骤简略带过 1 服务配置 编号 服务器主机名 IP 配置 用途 1 server01 192.168.137.61 2核4G Server，安装CM 1 server01 192.168.137.62 2核4G ...
大数据时代之hadoop(一)：hadoop安装
星空的专栏
10-13 5871
Hadoop的运行模式有以下三种： 独立模式（standalone或local mode）：无需任何守护进程（daemon），所有程序都在单个JVM上执行。主要用在开发阶段。默认属性就是为本模式所设，所以不需要额外的配置。 伪分布式模式（pseudo-distributed model）：Hadoop守护进程运行在本地机器上，模拟一个小规模的集群。 全分布模式（full distributed model）：Hadoop守护进程运
Hadoop集群搭建
weixin_30399155的博客
02-13 136
一.准备Linux环境（虚拟机） 　　1.先将虚拟机的网络模式选为NAT 　　2.修改主机名 　　　　vi /etc/sysconfig/network 　　　　NETWORKING=yes 　　　　 HOSTNAME=hdp-node-01 　　3.修改IP 　　　　vim /etc/sysconfig/network-scripts/ifcfg-eth0 　　　　DEV...
精选资源
大数据实践-hadoop集群安装与配置.doc
04-17
"大数据实践-Hadoop集群安装与配置" 本文档旨在指导用户实践Hadoop集群的安装和配置，涵盖了从环境搭建到Hadoop集群的安装和配置的所有步骤。通过实践本项目，用户可以初步掌握Hadoop集成环境的搭建和配置。 一、...
大数据-Hadoop集群配置
m0_62492032的博客
12-06 585
Hadoop
大数据-HadoopLearning【程序员VIP专用】.zip
09-03
首先，教程从CentOS操作系统的安装与配置入手，详细介绍了VM虚拟机的安装以及如何在虚拟环境中安装CentOS系统。这一部分是大数据处理的基础，因为Hadoop最常运行在类Unix系统上，而CentOS是一个稳定的Linux发行版。...
大数据-Hadoop集群搭建（配置免密登录及配置环境）_5、hadoop安装过程需要实现免密登录,且免密登录采用了非对称加密算法,算法涉及一(1)
2401_84181704的博客
05-04 1042
在 hadoop 用户下，输入命令 ssh-keygen ，连按 3 次回车，之后你会发现，在/home/hadoop/.ssh 目录下生成了一对密钥。每台虚拟就都需要，使用发送所有对话框，输入一次就好，比较方便。vi /etc/udev/rules.d/70-persistent-net.rules，以h1为例，将eth0所在行注释或删除，将eth1改为eth0，其他两台一样。hadoop自带的是.template结尾的，如果你不是上传的我的文件，是自己在vi/vim编辑器下编辑的，记得改后缀。
精选资源
【大数据技术】Hadoop分布式集群安装配置：CentOS7环境下从虚拟机搭建到集群启动的全流程指南
最新发布
06-11
内容概要：本文档是为信阳农林学院数据科学与大数据技术专业学生提供的Hadoop分布式安装指南。...此外，由于Hadoop集群配置较为复杂，建议读者提前备份好所有重要数据，以免因误操作造成不必要的损失。
Hadoop集群安装与配置
古月慕南的代码世界
03-23 1438
本文介绍Hadoop在两个节点上的安装与配置即一个master和一个slave，安装版本为2.2.0，该版本及以上版本的安装方式几乎一致。本文安装的方式并非高可靠的，是最简单的安装，适合于初学者作为学习环境。而且如果需要扩展也十分方便，更改slaves文件即可。
【hadoop学习之一】Hadoop集群 安装配置
Chail
11-30 1250
（一）环境准备1.机器准备 ps:以下使用的机器是自己搭建的虚拟机，操作系统是CentOS 6.7版本,内存2G,Cpu双核 (1).机器IP 配置集群中包括3个节点：1个Master，2个slave，节点之间局域网连接，可以相互ping通，节点IP地址分布如下： 机器名 ip地址 用途 master 192.168.1.10 NameNode slave1 192
大数据安装hadoop
qianchun22的博客
09-03 266
大数据简介 分布式 由分布在不同主机上的进程(程序)协同子啊一起才能构成整个应用。 Browser/web server:瘦客户端程序. 大数据4V特征 1．Volumn : 体量大 2．Velocity : 速度快 3．Variaty : 样式多 4．Value : 价值密度低 Hadoop概念： 可靠的、可伸缩的、分布式计算的开源软件. 是一个框架、允许跨越计算机集群的大数据集处理，使用简单的编程模型（MapReduce）。 可从单个服务器扩展到几千台主机，每个节点提供了计
大数据之hadoop安装
dengjiaqun的专栏
06-16 284
hadoop的具体概念就不多说了，这里采用简单的集群安装，对于使用zookeeper工具进行高可用的部署后续再说 三台机器 master slave0 slave2 全部采用root权限安装 下载hadoop安装包，这里使用hadoop-2.7.5 http://archive.apache.org/dist/hadoop/core/hadoop-2.7.5/hadoop-2.7.5.tar.gz 放到/data目录下 执行tar -zxvfhadoop-2.7.5.tar.gz进行解压.
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 5万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
hadoop集群的安装与配置
gao_的博客
12-13 450
1.安装和配置虚拟机 1.1安装VMwareWorkstation12pro虚拟机 1.2安装vmwaretools工具 2.Hadoop集群配置过程 2.1 集群中的机器，都要有的配置： 安装jdk 7+，并配置好环境变量 Hadoop-2.x.x安装包,配置好Hadoop参数(重点1) 都要安装SSH服务，如果没有安装ssh服务，则启动每台机器，分别安装ssh服务： $ sudo apt-...
Hadoop集群的安装和配置
qq_36528311的博客
05-30 351
一、首先下载好jdk、hadoop包，放入linux并解压 注意： 1、大家尽量选择centos6版本，反正我用的是centos7,出现了很多问题，可能是7增加了一些安全机制，导致在免密登陆那块很容易出现授权列表有公钥也无法登陆问题 2、用普通用户模式进行密钥的分发和集群的开启，如果用root用户模式，可能会出现意想不到的问题，比如：系统只认第一次进行密钥分发的模式（普通用户模式/root用...
大数据Hadoop环境安装
qq_32729301的博客
11-28 1559
工作场景的需要，最近开始学习起了大数据相关的东西。对于我这个初学者，大数据入门就是首先得学会Hadoop环境的安装，按照步骤如遇相关问题，请指正。Hadoop环境的安装，我是用自己电脑借助VMware workstation构建了三个虚拟机节点，进行安装的。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

百里 Jess

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值