集群部署重新规划

最新推荐文章于 2024-08-12 19:14:28 发布
原创 最新推荐文章于 2024-08-12 19:14:28 发布 · 450 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

由于之前已经搭建好的集群中master职务过于多，会造成效率降低，故将NameNode、SecondaryNameNode、和ResourceManager 分开部署到三个节点上。

masterslaver1slaver2slaver3slaver4slalver5
HDFSNameNode
DateNode		SecondaryNameNode
DateNode		DateNodeDateNodeDateNodeDateNode
YARNNodeManagerNodeManagerResourceManager NodeManagerNodeManagerNodeManagerNodeManager

修改hdfs-site.xml文件，将图中master改为slaver1

    vim hdfs-site.xml

在这里插入图片描述

配置Yarn

vim yarn-env.sh

添加JAVA_HOME

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_181

在这里插入图片描述

配置yarn-site.xml

vim yarn-site.xml

将ResourceManager 的主机名都改为slaver2
在这里插入图片描述

配置 vim mapred-env.sh

vim mapred-env.sh

在这里插入图片描述

同步分发配置

 xsync.sh hdfs-site.xml
xsync.sh yarn-env.sh
xsync.sh yarn-site.xml
xsync.sh mapred-env.sh

启动集群
在这里插入图片描述

启动了hdfs，接下来启动yarn，因为ResourceManager在slaver2上，所以，启动时必须在slaver2上启动yarn
在这里插入图片描述

二、集群规划
个人纪录、总结！
04-16 1206
云原生 - 目录 第八部分：高可用集群搭建 - 二进制方式 二、集群规划1、集群规划1.1、软件环境1.2、K8s环境2、磁盘规划 1、集群规划 1.1、软件环境 软件 版本 操作系统 Centos 7.9 Docker v19.03.9 Kubernetes v1.20.4 Kubesphere v3.1.1 1.2、K8s环境 角色 IP 组件 VIP（虚拟ip） 192.168.80.254 master1 192.168.80.220 k.
Doris集群部署
好好学习天天向上
03-01 1960
FE 分为 Follower 和 Observer 两种角色，其中 Follower 角色会选举出一个 Follower 节点作为 Master。默认一个集群，只能有一个 Master 状态的 Follower 角色，可以有多个 Follower 和 Observer，同时需保证 Follower 角色为奇数个。其中所有 Follower 角色组成一个选举组，如果 Master 状态的 Follower 宕机，则剩下的 Follower 会自动选出新的 Master，保证写入高可用。
Linux集群规划
u012402926的专栏
10-27 432
1.提供的服务：Web、FTP. 　　2.做一个较完善的负载均衡系统，以便能用到其中较多的功能。 　　3.使用4台服务器，其中3台安装TurboLinux Cluster Server,1台安装Windows 2000 Sever . 　　Linux集群安装 　　1.在3台服务器上安装Turbo Linux,还需要安装Apache和wu-ftpd,因为Linux集群要提供这种服务。安装完成
hadoop集群规划部署
Snower_2022的博客
01-24 1567
四个配置文件存放在etchadoop这个路径上用户可以根据项目需求重新进行修改配置。按照hadoop路径为opt/module/hadoop-3.3.5 所以配置文件在这个路径下继续/etc/hadoop。
集群配置规划工具知识点整理
shirukai
06-26 558
集群配置规划工具知识点整理 一、Vue 1.关于图标的使用 项目里使用的是在iconfont下载的第三方图标，放在indata_tool_web\src\assets\iconfont目录下。在main.js引入 import './assets/iconfont/iconfont.css' 2.关于登录权限 原理： 利用vue-router的beforeEach...
谈谈个人网站的建立（五）—— 小集群的部署
weixin_30746117的博客
11-06 682
欢迎访问我的个人网站O(∩_∩)O哈哈~希望大佬们能给个star，个人网站网址：http://www.wenzhihuai.com，个人网站代码地址：https://github.com/Zephery/newblog。 洋洋洒洒的买了两个服务器，用来学习分布式、集群之类的东西，整来整去，感觉分布式这种东西没人指导一下真的是太抽象了，先从网站的分布式部署一步一步学起来吧，虽然网站本身的访问量不大=...
HadoopHA集群部署、规划HadoopHA集群教学课件.pptx
06-20
总结来说，Hadoop HA集群部署涉及多个层面，包括硬件规划、软件配置、网络设置以及安全策略等。正确配置和管理这些组件，能确保Hadoop集群在面对单点故障时仍能提供稳定的服务，提高整体系统的可靠性。
KingbaseES V8R2 集群部署手册
11-29
《KingbaseES V8R2 集群部署手册》是针对金仓数据库V8版本的一个详尽指导文档，旨在帮助用户成功部署和管理KingbaseES的集群环境。KingbaseES，全称为Kingbase Enterprise Server，是中国自主研发的一款高性能、高...
Kubernetes集群部署与管理实战项目.zip
最新发布
11-05
Kubernetes集群部署与管理实战项目是一个针对有实际应用需求的教程项目。通过这个项目，用户将能够掌握从零开始搭建Kubernetes集群的整个流程，包括集群的规划、安装、配置以及日常的维护和监控等。这个项目的目标是...
RabbitMQ集群部署
l_789rty的博客
08-12 1367
cookie​ RabbitMQ底层是通过Erlang架构来实现的，所以rabbitmqctl会启动Erlang节点，并基于Erlang节点来使用Erlang系统连接RabbitMQ节点，在连接过程中需要正确的Erlang Cookie和节点名称，Erlang节点通过交换Erlang Cookie以获得认证来实现分布式，所以部署Rabbitmq分布式集群时要先安装Erlang，并把其中一个服务的cookie复制到另外的节点。内存节点和磁盘节点。
群集的规划(Cluster)
jamesxu354的博客
11-28 6974
群集的规划(Cluster) 分布式已是目前的主流架构，当今云端充斥着许多的平台，在不同的平台上提供着不同的资源，每种资源大都是以分布式的节点组合起来的，若没有不同的集群（Cluster-Aware）构架来组织这些资源，那这朵云会是个什么样的混乱大家可想而知。 群集的规划Cluster 群集Cluster类型的介绍 集群存儲Storage 如下圖顯示 高可用High Availabi
集群大小的规划
ITBOY_ITBOX博客
05-24 190
Elasticsearch笔记（三）：集群规划及管理
布道
12-29 6241
在上一章中我们对es-search的基本架构及核心概念有了一个基本的认识，这里我们开始搭建一个集群。 目录 1.集群中的节点角色 Ingest Node 如何分配？ 如何避免脑裂问题？ 2.分片及副本 3.集群健康及监控 3.1 catAPI 3.2Cluster API 3.2.1_cluster 3.2.2_nodes 3.2.3_remote 3.2...
J2EE集群开发部署实战
11-02 2052
J2EE集群开发部署实战概述一个集群系统是一群松散结合的服务器组，形成一个虚拟的服务器，为客户端用户提供统一的服务。对于这个客户端来说，通常在访问集群系统时不会意识到它的服务是由具体的哪一台服务器提供。集群系统一般应具高可用性、可伸缩性、负载均衡、故障恢复和可维护性等特殊性能。越来越多的关键任务和大型应用正运行在J2EE平台上，象银行之类的应用要求很高的可用性(HA)，大型系统比如大型网站
3台hadoop集群部署计划---安装系列一
独立开发，substack顶级编辑
04-30 1381
注意：apache官网提供的hadoop-2.x的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.6.0就需要重新在64操作系统上重新编译 安装 yum install psmisc Killall -9 java 安装 glibc-headers 和  g++  命令如下:   $yum install glib...
ES集群规划、集群搭建、集群管理
clz1314521的专栏
03-25 4703
ES集群规划、集群搭建、集群管理
分布式集群规划
IoTHub - 物联网开源技术社区
01-30 1163
分布式集群规划，采用微服务分布式架构，微服务容器化部署，支持容器的编排调度，系统监控、日志聚合、链路跟踪，高可用、负载均衡、故障转移、水平扩展等，采用DevOps理念，搭建CI/CD流水线。
kafka集群规划
紫蝶侠的博客
03-06 687
OS 一般来说，对于运行Linux中的kafka集群不需要过多的OS以及kernel参数调整，但如下几种情况可以根据具体情况进行参考: 文件描述符(fd): broker节点上fd限制可以参考(number_of_partitions)*(partition_size/segment_size)公式 套接字缓冲区(socket buffer): 该参数可以增加多数据中心之间的数据传输(一般异地集群备份建议调整以增加吞吐) 最大内存映射区域数(vm.max_map_count): 当kafka broke..
Linux集群部署项目
qq_74770105的博客
04-04 1741
nginx 的 http 模块使用 pcre 来解析正则表达式，所以需要在 linux 上安装 pcre 库，pcre-devel 是使用 pcre 开发的一个二次开发库。zlib 库提供了很多种压缩和解压缩的方式， nginx 使用 zlib 对 http 包的内容进行 gzip ，所以需要在 Centos 上安装 zlib 库。修改防火墙之后，访问http://192.168.11.137:8080/，如果看到tomcat的管理页面，则说明成功。来到安装的tomcat的bin目录，执行如下命令。
Hadoop集群部署规划
10-11
Hadoop集群的部署规划通常包括以下几个关键步骤： 1. **需求分析**：确定所需的处理能力、数据存储容量、以及预期的工作负载，这将影响集群规模和硬件选择。 2. **硬件配置**：选择合适的服务器，通常包含主节点（名称节点、资源管理器）、数据节点、计算节点等，并考虑冗余备份以防单点故障。 3. **软件安装**：安装必要的软件组件，如Hadoop的核心HDFS（分布式文件系统）和MapReduce框架，以及YARN（Yet Another Resource Negotiator）用于任务调度。 4. **网络设计**：确保节点间有高效的网络连接，支持数据复制和通信，可以选择内网IP或虚拟网络技术。 5. **命名空间划分**：在HDFS中设置适当的目录结构，如创建默认的/user、/apps等，分配给各个用户和应用程序。 6. **安全设置**：配置权限管理和认证机制，比如Kerberos，保护敏感数据和操作。 7. **性能调优**：测试和调整参数，如块大小、副本数、内存分配等，以优化系统的吞吐量和延迟。 8. **监控与日志**：实施监控工具，如Hadoop的Hadoop Health Monitor (HCM) 或第三方工具，以便及时发现并解决问题。 9. **灾难恢复计划**：制定备份策略和故障转移方案，以保证在出现问题时能够快速恢复服务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值