自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(19)
  • 收藏
  • 关注

原创 共庆程序员日,共享荣耀时刻

10.24祝我们每一位程序员们节日快乐。编出未来,程就梦想🦅🌹。

2024-10-24 14:31:09 122

原创 基于zookeeper安装部署下,配置 YARN-HA 集群

最终结果就是当Hadoop02没开启yarn服务时,访问hadoop02:8088可以自动跳转到hadoop01:8088。版权声明:本文内容及产生的收益归{浮屠}和葛一帆所有,请勿抄袭与不正当转载,一切解释权归{浮屠}和葛一帆所有!(2)同步更新其他节点的配置信息。(3)启动 yarn。

2024-09-30 20:15:23 388

原创 基于zookeeper安装部署下,配置 HDFS-HA 自动故障转移

版权声明:本文内容及产生的收益归{浮屠}和葛一帆所有,请勿抄袭与不正当转载,一切解释权归{浮屠}和葛一帆所有!别急,下一篇还有惊喜哦♥♥♥。

2024-09-30 19:47:08 532

原创 基于zookeeper安装部署下,配置 HDFS-HA 集群

版权声明:本文内容及产生的收益归{浮屠}和葛一帆所有,请勿抄袭与不正当转载,一切解释权归{浮屠}和葛一帆所有!二、配置 hadoop-env.sh(之前有的话,可以忽略)当格式化ZK后,ZK中将会多了hadoop-ha。三、配置 core-site.xml。四、配置 hdfs-site.xml。五、启动 HDFS-HA 集群。详细相关配置请看下一篇👇。

2024-09-30 19:03:14 726

原创 Zookeeper分布式集群部署

三、Zookeeper服务的启动和关闭。

2024-09-30 17:43:34 644

原创 zookeeper下载

以虚拟机内发行版为例👇。

2024-09-30 13:59:32 195

原创 通过jps进程发现已经启动,但访问不了hdfs和yarn的网页

查看防火墙状态:(如果没关在active中会显示running)

2024-09-08 21:51:09 563

原创 Hadoop集群测试

初次启动HDFS集群时,必须对主节点进行格式化处理。二、启动和关闭Hadoop集群:针对Hadoop集群的启动,需要启动内部包含的HDFS集群和YARN集群两个集群框架。启动方式有两种:一种是单节点逐个启动;另一种是使用脚本一键启动。1. 单节点逐个启动和关闭:在主节点上执行指令启动/关闭HDFS NameNode进程;在每个从节点上执行指令启动/关闭HDFS DataNode进程;在主节点上执行指令启动/关闭YARN ResourceManager进程;

2024-09-08 21:44:16 659 2

原创 Hadoop集群中,HDFS格式化后,启动dfs报错解决方法。

【问题解决】Hadoop集群中,HDFS格式化后,启动dfs报错解决方法。

2024-09-08 19:11:11 585

原创 Hadoop集群搭建

功能描述hadoop-env.sh配置Hadoop运行所需的环境变量 yarn-env.sh配置Yarn运行所需的环境变量core-site.xmlHadoop核心全局配置文件,可在其他配置文件中引用hdfs-site.xmlHDFS配置文件,继承core-site.xml配置文件mapred-site.xmlMapReduce配置文件,继承core-site.xml配置文件yarn-site.xmlYarn配置文件,继承core-site.xml配置文件得到:(1)修改hadoop-env.sh文

2024-09-08 18:07:24 631 1

原创 Hadoop集群搭建----Hadoop安装与配置

Hadoop版本:hadoop-3.3.1.tar.gz。

2024-09-08 16:56:32 693

原创 linux系统下jdk上传、安装、配置与验证

jdk版本:jdk-8u211-linux-x64.tar.gz。

2024-09-08 16:10:35 416

原创 SSH服务配置

SSH服务配置:1.检验安装;2.SecureCRT配置;3.配置SSH服务。 开启则显示进程:2.SecureCRT配置:192.168.121.129和192.168.121.130类比进行操作!!!三台主机同时执行下列命令,其后进行四次回车操作:查看公钥&私钥:三台机器将公钥拷贝到第一台机器: 将第一台机器的公钥拷贝到其他两台机器上:

2024-09-08 15:22:20 777

原创 修改主机名

【代码】修改主机名。

2024-09-08 13:41:46 179

原创 克隆虚拟机&&网络配置

克隆虚拟机&&网络配置

2024-09-08 13:22:14 434

原创 linux--centos7 64位安装与部属

【步骤】linux--centos7 64位安装与部属。

2024-09-08 10:51:17 372

原创 配置完Hadoop集群,bash: start-hdfs.sh: 未找到命令的解决办法。

bash: start-hdfs.sh: 未找到命令的解决办法。

2024-09-07 20:12:06 1566

原创 centos7更换镜像源

换源步骤如下:1.删除原有文件: rm -f /etc/yum.repos.d/CentOS-Base.repo2.下载阿里镜像源: wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo3.清理缓存: yum clean all

2024-09-06 17:20:07 1168

原创 基于javaweb项目的全局部署

⑤复制文件夹BookStore内的database中的mysql.sql文件内的内容(以记事本方式打开)②找不到severs的话:windows-->show view。④如果导入的文件报错:右击导入文件,点击Proreries。⑥将复制的命令(sql命令),粘贴至新建查询中运行;⑤运行:run as-->run on server。五、Navicat Premium 12环境搭建。④点击阿帕奇-->edit-->finsh;①左上角file-->import引入项目。六、项目部署实战(图书系统)

2023-11-05 20:18:58 120 2

HDFS HA 高可用部署日志文件,全代码,详细步骤解说(202302070418)

HA 概述 1)所谓 HA(high available),即高可用(7*24 小时不中断服务)。 2)实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制: HDFS 的 HA 和 YARN 的 HA。 3)Hadoop2.0 之前,在 HDFS 集群中 NameNode 存在单点故障(SPOF)。 4)NameNode 主要在以下两个方面影响 HDFS 集群 NameNode 机器发生意外,如宕机,集群将无法使用,直到管理员重启 NameNode 机器需要升级,包括软件、硬件升级,此时集群也将无法使用 HDFS HA 功能通过配置 Active/Standby 两个 nameNodes 实现在集群中对 NameNode 的 热备来解决上述问题。如果出现故障,如机器崩溃或机器需要升级维护,这时可通过此种方 式将 NameNode 很快的切换到另外一台机器。 HDFS-HA 工作机制 1)通过双 namenode 消除单点故障

2024-09-30

Hadoop 集群搭建 虚拟机部署 网络配置 SSH设置 详细步骤

Hadoop 集群搭建 虚拟机部署 网络配置 SSH设置 详细步骤,一次性完成相关集群搭建与测试。

2024-09-29

SecureCRT.rar

SecureCRT工具集合,适用于SSH服务配置。

2024-09-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除