纯手动搭建hadoop3.1.3集群记录006_配置常用群起myhadoop.sh_群查脚本jpsall_配置集群时间同步(自动连接外网同步)---大数据之Hadoop3.x工作笔记0167

已于 2023-12-09 10:45:47 修改
阅读量246 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 离&实时计算&大数据 文章标签： 大数据 Hadoop集群时间配置 Hadoop脚本jspall 脚本myhadoop
于 2023-02-24 16:36:46 首次发布
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/129199866
本文记录了手动搭建Hadoop3.1.3集群的过程，包括创建myhadoop.sh启动脚本，处理SSH远程执行问题，编写jpsall脚本来查看集群状态，以及配置集群时间同步的方法。重点介绍了myhadoop.sh的创建与权限设置，jpsall脚本的修正与分发，以及在无法连接外网时如何设置内部时间服务器。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

因为这个脚本很好用,所以做成了一下.

可以看到脚本的内容

 

这个是脚本内容

 

在/opt/module/hadoop-3.1.3/bin下面创建myhadoop.sh这个文件

把脚本内容复制进去

 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
编写myhadoop.sh脚本快捷开启集群，一起开启（关闭）dfs，yarn
qq_53953480的博客
03-22 413
1）各个模块分开启动/停止（配置ssh是前提）常用 （1）整体启动/停止HDFS （2）整体启动/停止YARN 2）各个服务组件逐一启动/停止 （1）分别启动/停止HDFS组件 （2）启动/停止YARN 编写Hadoop集群常用脚本 1）Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh 输入以下内容 保存后退出，然后赋予脚本执行权限 2）查看三台服务器Java进程脚本：j
Hadoop运行模式：完全分布式运行模式（虚拟机准备、 编写集群分发脚本xsync、SSH无密登录配置、集群配置、群起集群、 配置历史服务器、配置日志的聚集、集群启动/停止方式总结、编写Hadoop）
weixin_44216665的博客
08-09 781
虚拟机准备、 编写集群分发脚本xsync、SSH无密登录配置、集群配置、群起集群、 配置历史服务器、配置日志的聚集、集群启动/停止方式总结、编写Hadoop集群常用脚本、 常用端口号、集群时间同步...
【Hadoop】集群启停脚本
热门推荐
你不来，再美的天地，都狼藉 ~
05-11 7万+
这篇文章主要跟大家分享Hadoop集群启停脚本、jps脚本以及关机脚本，对脚本感兴趣的友友们也可以和我交流哦！
Hadoop 编写集群统一启动停止脚本 | 查看所有服务器Java进程脚本
lesileqin的博客
04-04 5730
文章目录一、Hadoop集群启停脚本 myhadoop.sh1、编写脚本2、脚本解读3、测试二、查看三台服务器Java进程脚本 jpsall1、编写脚本2、脚本解读3、测试三、脚本分发 在配置两个脚本之前，需要配置好ssh免密登陆 一、Hadoop集群启停脚本 myhadoop.sh 1、编写脚本 在用户家目录的bin下，创建脚本myhadoop.sh [wzq@hadoop102 ~]$ cd /home/wzq/bin/ [wzq@hadoop102 bin]$ vim myhadoop.sh 将
Hadoop入门 集群常用知识与常用脚本总结
好好学习天天向上
04-04 2275
文章目录集群常用知识与常用脚本总结集群启动/停止方式编写Hadoop集群常用脚本1 Hadoop集群启停脚本myhadoop.sh2 查看三台服务器Java进程脚本 jpsall常用端口说明(面试题)常用的配置文件(面试题) 集群常用知识与常用脚本总结 集群启动/停止方式 ###1 各个模块分开启动/停止(常用) 配置ssh是前提 整体启动/停止HDFS [ranan@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh [ranan@hadoop102 hadoop-3.1
【Hadoop完全分布式】编写 Hadoop 集群常用脚本
风口IT猪的成长录
09-05 907
编写 Hadoop 集群常用脚本1. 集群启动/停止方式总结1）各个模块分开启动/停止2）各个服务组件逐一启动/停止2. 编写 Hadoop 集群常用脚本1）Hadoop 集群启停脚本2）查看三台服务器 Java 进程脚本：jpsall3）分发/home/atguigu/bin 目录，保证自定义脚本在三台机器上都可以使用3. 常用端口号说明 1. 集群启动/停止方式总结 1）各个模块分开启动/停止 （配置 ssh 是前提）常用 （1）整体启动/停止 HDFS start-dfs.sh/stop-dfs.sh
Hadoop | 集群配置（四）启动测试完全分布式集群 | 编写 Shell 脚本一键启动集群 | Hadoop 集群常用脚本
希望每天都能进步一点点
01-16 803
参考资料 视频资料 运行环境 windows10 CentOS 7 虚拟机 JDK8 Hadoop3.1.3 3个集群节点 一、集群的不同启动方式 1.1 各模块分开启动（常用） （1）各个模块分开启动/停止（配置ssh是前提）常用 整体启动/停止 HDFS start-dfs.sh/stop-dfs.sh （2）整体启动/停止YARN start-yarn.sh/stop-yarn.sh 1.2 各个服务组件逐一启动/停止 （1）分别启动/停止HDFS组件 hdfs --daemon s
centos搭建hadoop集群实战命令总结
Jmayday
05-27 429
第一部分 开发环境 名称 版本 资源 Linux centos7 centos7 JDK 8u212 jdk-8u212-linux-x64.tar.gz Hadoop 3.1.3 hadoop-3.1.3.tar.gz Zookerper 3.5.7 apache-zookeeper-3.5.7-bin.tar.gz Kafka 2.4.1 kafka_2.11-2.4.1.tgz Spark 2..
VMware从零搭建hadoop集群
TheGreatAnt的博客
08-13 1025
VMware从零创建hadoop集群 1、模板虚拟机环境的准备 1）准备一台模板虚拟机hadoop100，虚拟机配置要求如下: 注：本文Linux系统环境全部以CentOS-7.5-x86-1804 为例说明 模板虚拟机：内存4G，硬盘50G，安装必要环境，为安装hadoop做准备 [root@hadoop100 ~]# yum install -y epel-release [root@hadoop100 ~]# yum install -y psmisc nc net-tools rsync vim l
【Linux环境下Hadoop部署】— 报错“bash: myhadoop.sh: command not found“
最新发布
sodaloveer的博客
06-18 582
【Linux环境下Hadoop部署】— 报错"bash: myhadoop.sh: command not found"
解决myhadoop.sh 群起群停脚本的两个小问题
TTDZS的博客
12-09 466
hadoop长时间启动，用脚本群关集群时是根据DN上的mapred和dfs进程号来执行的，系统每隔一段时间会清空进程号所在文件夹，而系统默认该目录为/tmp，有可能找不到这个进程号，就关不掉这个进程，正常情况下等一段时间他会自己go die ，但是这个时间我不想等。
hadoop群起脚本
qq_43523503的博客
11-06 744
hadoop群起脚本 #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " =================== 启动 hadoop集群 ===================" echo " --------------- 启动 hdfs ---------------" ssh hadoop102 "/o
Hadoop集群---方便的脚本
樱桃气质丸的博客
03-20 995
把以下代码粘贴进去，一定要修改主机名，按照自己的需求修改，比如我的NameNode在第二台主机上启动，那启动hdfs时主机名就填第二台主机。在 root/bin 目录下创建脚本 (在这个目录下方便全局使用)在 root/bin 目录下创建脚本 (在这个目录下方便全局使用)脚本保存退出后并不是绿色的可执行文件，要给脚本加上执行权限。脚本保存退出后并不是绿色的可执行文件，要给脚本加上执行权限。脚本保存退出后并不是绿色的可执行文件，要给脚本加上执行权限。如果报错：bash：rsync找不到命令。
myhadoop.sh启动停止脚本
qq_37312838的博客
11-04 187
hadoop
xsync和myhadoop.sh中shell脚本的解释
DylanGong的博客
03-17 958
逐句解释xsncy和myhadoop.sh脚本的解释。
Mac上在vm虚拟机上搭建Hadoop集群并安装zookeeper hive hbase（下篇）
今天敲代码了嘛？
09-09 1168
mac hadoop zookeeper hive hbase
hadoop启停脚本 myhadoop.sh | 文件分发脚本 xsync
qq_38151907的博客
08-19 4934
hadoop启停脚本 myhadoop.sh | 文件分发脚本 xsync
jpsall查看集群jps状态sh脚本
qq_31026281的博客
04-14 720
在/bin 下创建jpsall文件 打开写入以下内容： #!/bin/bash # 执行jps命令查询每台服务器上的节点状态 echo ======================集群节点状态==================== for i in hadoop102 hadoop103 hadoop104 do echo ====================== $i ==================== sshatguigu@$i '/opt/module...
hadoop完全分布式——jpsall.sh脚本
CarveStone的博客
12-03 2316
写 jpsall.sh 脚本 cd $HADOOP_HOME/sbin sudo vi jpsall.sh # 写入如下内容 # 执行jps命令查询每台服务器上的节点状态 echo ======================集群节点状态==================== for i in master slave1 slave2 do echo ====================== $i ==================== ssh hadoop@$i
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值