hadoopHA配置jdk和同步时间分发公钥

最新推荐文章于 2024-08-04 13:23:56 发布
最新推荐文章于 2024-08-04 13:23:56 发布
阅读量274 收藏
点赞数 1
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bulaoty/article/details/106758345
本文介绍了如何在Hadoop高可用性（HA）环境中配置JDK，包括使用SCP命令在节点间分发JDK安装包，并通过RPM进行安装。接着，文章详细阐述了集群时间同步的步骤，包括安装NTP，与阿里云服务器同步时间，检查HOSTNAME和IP映射，以及设置SSH公钥实现节点间的免密登录。最后，通过SSH验证了各节点间的互信配置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hadoopHA配置jdk

1.在xshell里面分发jdk
-scp jdk-7u67-linux-x64.rpm node02:pwd
-scp jdk-7u67-linux-x64.rpm node03:pwd
-scp jdk-7u67-linux-x64.rpm node04:pwd
2.并在Xshell的全部会话栏里一起ll，看jdk是否发送成功。
在这里插入图片描述分别在node02、03、04上执行rpm安装命令
-rpm -i jdk-7u67-linux-x64.rpm

在node01上cd /etc，在此目录下把profile文件分发到node02、03、04上。
scp profile node02:pwd
在这里插入图片描述以上node01配置成这样

利用Xshell全部会话栏，source /etc/profile
利用Xshell全部会话栏，jps，看02、03、04这三台机子的jdk是否装好。

2.同步时间
1.yum进行时间同步器的安装
-yum -y install ntp
在这里插入图片描述
2.执行同步命令
-ntpdate time1.aliyun.com 和阿里云服务器时间同步

最低0.47元/天 解锁文章

200万优质内容无限畅学
bulaoty
关注
Hadoop HA高可用安装过程和wordcount实例
Dlychee的博客
06-18 654
一、HA介绍 HA是为解决HDFS中单点故障。 高可用通过主备NameNode来解决问题，如果当NameNode（active）发生故障，则切换到备用NameNode（standby）上。 DateNode中数据时间等发生变化（不断）都要跟NameNode汇报，为了防止单点故障，所以我们用HA高可用方式。 我们准备两台NameNode,一台正在工作(active)的NameNode,一台备用(standby)的NameNode。如果NameNode(active)故障了，standby状态的NameNod
Hadoop HA部署文档
gszhihan的博客
08-24 349
文章目录一、 软件版本二、 集群规划三、 目录规划四、 环境准备五、 安装Zookeeper六、 安装Hadoop（NameNode HA 和 ResourceManager HA）七、 初次启动集群八、 关闭集群九、 再次启动集群 一、 软件版本 组件名 版本 下载地址 备注 CentOS CentOS Linux release 7.2.1511 (Core) 查看版本号 c...
hadoop集群主从时间同步
sinat_17618381的博客
06-07 312
1. 时间服务器配置（必须root用户） （1）检查ntp是否安装 [root@hadoop102 桌面]# rpm -qa|grep ntp ntp-4.2.6p5-10.el6.centos.x86_64 fontpackages-filesystem-1.41-1.1.el6.noarch ntpdate-4.2.6p5-10.el6.centos.x86_64 （2）修改ntp配置文件 [root@hadoop102 桌面]# vi /etc/ntp.conf 修改内容如下 a）修改1（授权19
Hadoop集群时间同步解决方案
qq_41323968的博客
01-22 330
Hadoop集群时间同步解决方案 转载自:https://www.cnblogs.com/zwingblog/p/6110588.html 由于时间不同步,导致安装HBase时发生regionserver秒退问题及其解决方案 用ntpdate从时间服务器更新时间 如果Linux(简易版)没有ntpdate命令需要安装 | yum -y install ntp 安装完之后不需要什么配置,直接运行如...
配置hadoop时发送公钥报错
2201_75336137的博客
04-12 177
报错如下复制框出命令，运行。
（三）Hadoop HA高可用集群的配置-JDK的安装
T.machine的博客
12-07 2217
目录 一、实验目的及要求： 实验目的： 实验要求： 二、环境要求： 三、步骤详解： 项目一：卸载原有JDK 项目二：安装配置JDK 项目三：同步JDK安装和配置 一、实验目的及要求： 实验目的： 掌握在完全分布模式的整合平台中快捷的进行JDK的安装和验证。 实验要求： 在集群中所有主机上完成JDK的安装 所有主机上JDK相关命令能够正常使用 二、环境要求： （1）五...
Hadoop集群构建（三）
weixin_64270471的博客
11-02 783
接上次 jdk安装成功。第一学期我们学习Java，当时我们是在Windows平台上运行Java程序的，我们知道Java是跨平台的，现在我们在Linux平台上编写和运行Java程序。
Hadoop HA高可用集群搭建详细过程(亲测四台有效）
qq_43532434的博客
06-17 5624
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
Hadoop搭建集群
最新发布
m0_70405779的博客
08-04 1万+
Hadoop集群部署是为了实现分布式存储和计算，提高大数据处理的效率和性能。1.确定集群规模和硬件资源，选择合适的操作系统和Hadoop版本，进行网络配置，确保集群内各节点之间可以互相通信。2.设置各节点的环境变量，安装和配置Java环境以及其他必要的软件和工具。3.配置Hadoop的核心组件（如HDFS和YARN）和各节点角色（如NameNode、DataNode、ResourceManager、NodeManager等），完成集群的部署。
大数据--Hadoop环境部署(3)JDK和ZooKeeper环境配置
qq_51641196的博客
12-03 1100
Linux环境搭建:https://www.cnblogs.com/Studywith/p/16946297.html免密连接:https://www.cnblogs.com/Studywith/p/16946310.html在完成了Linux虚拟机的基础配置后,接下来进行JDK和ZooKeeper相关环境的配置一.部署JDK1.官网下载JDKhttps://www.oracle.com/jav...
hadoop集群间免秘钥配置
02-24
Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。所以我们需要部署集群，然而集群之间的通讯每次都要输入密码的话很麻烦，所以我们配置集群免秘钥。
Hadoop 集群时间同步设置
08-30 2967
设置服务器集群的时间同步，一台机器同时间服务器对时，其他机器与这台服务器对时，就是发生断网等情况，也可以保证内部所有服务器都时间统一；时间同步方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间；...
Hadoop完全分布式 => 集群时间同步
小妖666个人笔记
05-03 471
1.crontab定时任务 cd /opt/module/hadoop-2.9.2/ crontab -e 第一次执行命令的时候分出现下面内容，输入2回车 如果不小心输错的话，退出输入命令：select-editor 输入2回车，然后再次执行crontab -e即可 重启crontab服务方法：service crontab restart 2.集群时间同步 时间同步方式：找一...
第三章 主从同步(HA)机制学习笔记
hankin的博客
11-01 1259
一、RocketMQ集群部署模式 1、集群部署模式 1.1、单master模式 也就是只有一个master节点，称不上是集群，一旦这个master节点宕机，那么整个服务就不可用。 1.2、多master模式 多个master节点组成集群，单个master节点宕机或者重启对应用没有影响。 优点：所有模式中性能最高； 缺点：单个master节点宕机期间，未被消费的消息在节点恢复之...
hadoop调整时区
weixin_34189116的博客
05-16 1460
hadoop集群的系统时间正确,但是hadoop/hbase的日志输出的时间比系统时间少8个小时.通过以下方式可以调整hadoop/hbase时区.各个节点的时间如果不同步，会出现启动异常，或其他原因。这里将时间统一设置为Shanghai时区。命令如下：#cp/usr/share/zoneinfo/Asia/Shanghai/etc/localtime cp:over...
Hadoop1在远程向Hadoop2传递公钥文时出现错误ssh: connect to host hadoop02 port 22: Connection refused
qq_52273625的博客
03-05 5394
当出现此错误时可能是与我们未配置ip映射或配置文件数据错误有关，解决步骤如下： 先通过vmware的编辑打开虚拟网络编辑器，然后选择查看NAT模式（你当前虚拟机所使用的模式，一般有NAT、桥接和仅主机三种模式）下的DHCP设置，如图所示，可以看到你可以设置的主机IP地址范围为192.168.32.128-192.168.32.254.在这个范围内可以任意选择一个IP地址设置. 然后你需要打开hosts文件配置ip映射,位置是ect/hosts,如图所示,我是建立了三台主机,分别是ha...
SSH秘钥分发、文件分发、批量执行命令
李在奋斗的博客
10-11 1797
SSH秘钥分发、文件分发、批量执行命令 要求使用同一用户lss,实现A机器从本地分发数据到B、C的过程不需要输入密码，且可以批量在B、C主机上执行命令 IP 角色 用户 192.168.1.4 aaa-服务端 lss 192.168.1.5 bbb-客户端 lss 192.168.1.6 ccc-客户端 lss 首先确保aaa-服务端可以ping通bbb客户端与ccc...
Hadoop SSH免密登录公钥生成并实现不同主机间的免密登录
学亮编程手记
03-04 661
此时如果要免密登录i到其他主机，只需要执行如下命令即可：
Hadoop2.x高可用配置指南：搭建HDFS与YARN HA
- **配置Hadoop配置文件**：修改`hdfs-site.xml`和`yarn-site.xml`配置文件，指定NameNode和ResourceManager的HA模式，以及各自的地址。 - **格式化NameNode**：在初次部署或切换NameNode角色时，需要对NameNode进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值