Hadoop【环境搭建 03】【hadoop-3.1.3 集群版】（附：集群启动&停止Shell脚本）

已于 2024-01-25 19:22:25 修改
阅读量1.3k 收藏 5
点赞数 3
CC 4.0 BY-SA版权
分类专栏： .... ... .. . Hadoop 文章标签： linux hadoop 大数据
于 2021-07-29 10:09:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yuanzhengme/article/details/119202916
本文详细介绍了如何搭建一个3节点的Hadoop集群，包括前置条件、配置免密登录、HDFS环境搭建等步骤。重点讲述了配置映射、生成和授权SSH公私钥以实现集群间免密登录，以及修改Hadoop配置文件以启动和管理集群。

说明

搭建集群首先要进行集群的规划【哪台做主节点，哪些做从节点】，这里简单搭建一个 3 节点的 Hadoop 集群，其中三台主机均部署 DataNode 和 NodeManager 服务，但只有 hadoop001 上部署 NameNode 和 ResourceManager 服务。集群搭建跟单机版本的差别只体现在配置文件上，然后就是将文件同步给其他集群服务器。

在这里插入图片描述

1.前置条件【每台服务器】

Hadoop 的运行依赖 jdk 我原本安装的是 openjdk11【由于yarn报错，换回了jdk8】。

[root@hadoop001 logs]# java -version
java version "1.8.0_251"
Java(TM) SE Runtime Environment <
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hadoop【环境搭建 02】【hadoop-3.1.3 单机版YARN】（配置、启动及验证）
シ風
07-28 652
1. 修改配置 进入 ${HADOOP_HOME}/etc/hadoop/ 目录下，修改以下配置： mapred-site.xml [root@tcloud ~]# vim /usr/local/hadoop-3.1.3/etc/hadoop/mapred-site.xml &lt;configuration&gt; &lt;property&gt; &lt;name&gt;mapreduce.framework.name&lt;/name&gt; &lt;value&gt;yarn&
【Paimon】【部署】Hadoop-3.1.3 + Hive-3.1.3 + Flink-1.17.0
最新发布
lilinxi001的博客
06-24 1707
1.2 系统镜像文件。
Hadoop集群部署(附集群启停脚本)
zhaozhufeng的博客
12-08 2454
集群部署规划(Hadoop3.1.3)
第一章 Hadoop启动Shell启动脚本分析--基于hadoop-0.20.2-cdh3u1
WEBCODE
12-21 209
第一章Hadoop启动Shell启动脚本分析 第一节start-all.sh脚本 此脚本很简单，就是根据运行此脚本的目录进入安装hadoop目录下的bin目录，然后运行启动hdfs和mapred的启动脚本。 bin=`dirname &quot;$0&quot;` bin=`cd &quot;$bin&quot;; pwd` . &quot;$bin&quot;/hadoop-config.sh # start dfs daemons &quot;$bin&quot;/...
基于Shell的一条指令智能启动(关闭)Hadoop生态圈服务
wsjslient的博客
01-15 447
目录写在前面一、shell一次性启动1.1 关键方法 写在前面 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;对于很多学习大数据的同学来说，当学习大数据越来越深入的时候，服务器上需要安装的服务也越来越多，每次启动服务都需要操作一小会。而且很久不启动服务还可能忘记指令或启动方式，使用shell脚本可以完美的帮我们解决这个问题。 一、shell一次性启动 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;我们先解决启动服务的问题，之后解决关
hadoop集群及相关服务的启动、停止shell脚本
lieyanhaipo的专栏
09-03 2287
之前一直是手动启动，一个一个命令敲，好麻烦，最近写了一个启动和暂停的脚本分享给大家启动脚本start-cluster.sh#!/bin/sh echo -e "\033[31m ========Start The Cluster======== \033[0m"# start hadoop cluster echo -e "\033[31m Starting Hadoop Now !!! \033[
Hadoop集群搭建教程(hadoop-3.1.3手把手教学)超详细！！！
weixin_44168795的博客
06-24 2425
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、集群机器的准备1、关闭防火墙2、配置静态 IP3、主机名称二、配置SSH无密登录1、以192.168.29.151为例2、安装配置jdk和hadoop3、文件复制三、hadoop的集群配置1、集群的配置介绍2、4个xml文件的配置3、配置workers四、启动集群1、NameNode初始化2、启动 HDFS、YARN3、验证是否成功启动4、有可能的出错总结 前言 本文是基于hadoop-3.1.3搭建的集群，集群规模是5台
精选资源
hadoop-3.1.3.tar.gz编译后的源码包
11-11
这个hadoop-3.1.3.tar.gz文件是一个包含了Hadoop 3.1.3版本的源码压缩包，对于理解Hadoop的工作原理、进行二次开发或者定制化配置来说，研究源码是非常重要的。 首先，Hadoop的核心组件包括HDFS（Hadoop ...
hadoop3.1.3集群配置
ZYN的博客
12-08 2155
文章目录hadoop3.1.3集群配置1、安装软件2、关闭防火墙3、创建hadoop用户4、卸载Linux自带的JDK5、克隆三台虚拟机6、安装jdk、hadoop7、配置环境变量8、本地模式测试9、完全分布式9.1配置SSH免密登录9.2 集群配置9.3 分发配置文件至其他节点9.4 启动集群9.5 各节点服务运行状况jps10、面试题 hadoop3.1.3集群配置 1、安装软件 最小化安装中一些基本命令不存在，因此需要事先安装。 Extra Packages for Enterprise Linu
大数据集群启停shell脚本：hadoop（hdfs、yarn）、hbase集群启停
学亮编程手记
06-29 682
#Hadoop集群启动/停止脚本 #!/bin/bash if [ $3 lt 1 ] then echo "No Args Input!" exit; fi case $1 in "start") echo "============================= 启动大数据集群 =============================" echo "----------------------------- 启动HDFS集群 -----------------------------"
hadoop-eclipse-plugin-3.1.0.jar
03-13
eclipse中需要的hadoop插件，对应hadoop版本3.x。 注意：插件的版本要和用的hadoop版本保持一致
批量启动关闭hdfs、yarn、historyserver的shell脚本
d_l_w_d_l_w的博客
05-31 575
在/root/bin的目录下创建 vim myhadoop.sh 并写入一下shell脚本 #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit; fi case $1 in "start") echo " ==================== 启动 hadoop集群 ====================" echo " ------------------- 启动 hdfs
hadoop3.1.3的集群搭建
m0_65033114的博客
08-01 1344
windows系统确认所有的关于VmWare的服务都已经启动右键“我的电脑”->“管理”确认好VmWare生成的网关地址这里设置网关为192.168.121.2，子网ip192.168.121.0，子网掩码使用vim编辑器打开/etc/hostname文件删除文件中原有内容，添加内容主机名hadoop04，保存退出(wq!)更改虚拟机静态ip，例如hadoop04打开网卡配置文件修改内容使用vim编辑器打开/etc/hosts文件在文件尾部添加内容，格式私钥。......
Hadoop3.1.3入门、使用、调优、源码解析等相关知识
weixin_48838762的博客
07-31 1107
Hadoop3.1.3入门、使用、调优、源码解析等相关知识
hadoop集群启动和关闭shell脚本
硅步至千里
03-08 3495
说明： 1、先启动zookeeper，再启动hdfs，再启动yarn。 2、user为hadoop使用的linux用户。 3、采用SSH登陆到其他机器执行脚本的方式，且配置了ssh免密钥登陆。start-hadoop.shuser=hadoop echo start zookeeper... for zk in master05 master06 master07 do ssh $user@$
大数据Hadoop3.1.3——HDFS文件系统的客户端操作（基础）
caron的博客
04-14 1404
1、 HDFS客户端环境准备 1、将Windows依赖hadoop-3.1.0放到指定位置，设置环境变量 2．配置HADOOP_HOME环境变量 3. 配置Path环境变量，然后重启电脑
Hadoop 3.1.3（HDFS）
VanasWang的博客
04-16 1053
文章目录HDFS概述HDFS优缺点HDFS组成架构截屏2020-04-11下午3.20.13HDFS文件块大小（面试重点）HDFS的Shell操作（开发重点）HDFS客户端操作（开发重点）HDFS的数据流（面试重点）文件写入网络拓扑-节点距离计算机架感知（副本存储节点选择）HDFS读数据流程NameNode和SecondaryNameNode（面试开发重点）NN和2NN工作机制Fsimage和Ed...
Hadoop【部署 02】hadoop-3.1.3 单机版YARN（配置、启动停止shell脚本修改及服务验证）
Java与大数据相关实践内容分享！
06-22 975
Hadoop【部署 02】hadoop-3.1.3 单机版YARN（配置、启动停止shell脚本修改及服务验证）
Hadoop开发环境的配置（安装eclipse）
cxx_317的博客
08-10 1124
1.       下载eclipse 因为安装了64位的jdk，所以eclipse版本也为64位：eclipse-jee-mars-R-linux-gtk-x86_64.tar.gz   2.     解压缩文件到/opt目录下  sudotar -xsvf ~/下载/ eclipse-jee-mars-R-linux-gtk-x86_64.tar.gz -C /opt/   3.  
评论 6
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@寻觅远方

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值