大数据（环境）-集群环境规划

最新推荐文章于 2025-10-24 13:39:49 发布

原创

最新推荐文章于 2025-10-24 13:39:49 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了大数据环境的集群规划，包括机器的选择，Hadoop集群的搭建，Zookeeper集群的设置，以及Hive的数据仓库应用。

机器

hadoop01:192.168.58.200
hadoop02:192.168.58.201
hadoop03:192.168.58.202

宿主机
192.168.58.4

客户机
192.158.58.5

Hadoop集群

namenode

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Olge

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

大数据项目架构选型和集群规划

weixin_43740680的博客

07-16

2215

大数据项目中如何实现架构选型和集群规划？ 1.处理流程数据源关系型数据库表：订单，用户，地址。。。日志文件: 页面数据、埋点数据数据采集 sqoop、kettle flume shell . 数据存储： HDFS、Hive、HBASE 数据清洗 Mapreduce、hive、sparkCore 数据处理（分析） Hive、MapRedu...

大数据 HDFS-集群扩容及缩容

m0_45323484的博客

10-23

1626

目录 1.添加白名单配置白名单步骤： 1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件 2）在hdfs-site.xml配置文件中增加dfs.hosts配置参数 3）分发配置文件whitelist，hdfs-site.xml 4）第一次添加白名单必须重启集群，不是第一次，只需要刷新NameNode节点即可 5）在web浏览器上查看DN，http://hadoop102:9870/dfs

参与评论您还未登录，请先登录后发表或查看评论

（三）大数据集群规划简介

weixin_43930865的博客

07-21

1877

大数据集群规划简介 1:服务器配置 kafka 推荐配置---- 双路8核Intel处理器；内存：64GB（以上） DDR4；硬盘：2*600GB SAS 硬盘(系统盘);12*8T SATA硬盘；磁盘推荐raid1 hdfs+hbase+hive 推荐配置----内存：256GB DDR4；硬盘：2*600GB SAS 硬盘;12*8T SATA硬盘；raid0 elasticsearch 推荐配置----内存：256GB DDR4（越大越好）；2*600GB SAS 硬盘;12*8T SATA硬盘；r

高可用大数据集群搭建--集群规划

xiaohu的博客

04-26

395

Zookeeper：分布式协调服务，可以由单个或多个节点组成。在Zookeeper集群中，有一个节点作为Leader，其他节点作为Follower。Leader节点负责协调所有客户端请求，并将它们发送到相应的Follower节点进行处理。Zookeeper还支持数据发布/订阅和通知机制，可以通过监视节点上的变化来实现配置管理和同步。JournalNode：主要用于提供高可用性和容错性支持。

大数据服务组件规划与部署规划

最新发布

流水_鱼鱼的博客

10-24

918

大数据组件服务规划与部署规划

大数据（1f）集群规划+版本选择（持续更）

ArYe

04-09

774

集群规划服务名 Hadoop HIVE ZooKeeper Kafka HBase Atlas 运维

3、大数据环境-安装Hadoop2.5.2完全分布式傻瓜教程（Virtual5+CentOS6.8）.

12-01

3. 服务器规划：在大数据环境中，服务器规划是至关重要的一步。文档中提到了一个三节点的Hadoop集群，其中包括一个主节点（master）和两个从节点（slave1和slave2）。主节点将充当NameNode和ResourceManager，而从...

大数据-MySQL集群

赵玉的专栏

10-20

1596

大数据MySQL集群是由多个MySQL实例组成的分布式系统，这些实例协同工作以处理大规模的数据集。它通常结合了负载均衡、复制、以及高可用性等特性，以满足大数据场景下的复杂需求。

城市象限大数据应用-技术说明.pptx

04-25

在数据处理架构方面，城市象限采用了MapReduce、RDD等大数据处理技术，并部署了沙箱环境和本地集群。此外，公司还运营于阿里云、AWS等云服务平台，确保数据处理的效率和稳定性。指标体系的构建为城市象限的数据...

大数据Zookeeper--集群操作

xd__xy的博客

02-03

1266

客户端注册监听它关心的目录节点，当目录节点发生变化（数据改变、节点删除、子目录节点增加删除）时，ZooKeeper会通知客户端。（1）重命名/opt/module/zookeeper-3.5.7/conf 这个目录下的 zoo_sample.cfg 为 zoo.cfg。（2）在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件。（1）在/opt/module/zookeeper-3.5.7/这个目录下创建 zkData。如果原节点下已有2个节点，则再排。

大数据集群环境搭建

06-29

大数据搭建

大数据项目集群

05-21

https://blog.youkuaiyun.com/fulq1234/article/details/80371426

大数据高可用集群.docx

03-14

大数据高可用集群搭建详情，配置文件，版本，环境，集群规划， HA的解决方案，大数据高可用集群搭建详情，配置文件，版本，环境，集群规划， HA的解决方案

大数据集群规划、规模、版本、端口号

Wxh_bai的博客

04-11

782

3.客户端尽量放在1到2台服务器上，一是风险隔离，导致集群内部受到不必要的干扰。2）每条日志1K左右，每天1亿条： 100000000/1024/1024 = 约100G。假设每台服务器8T磁盘，128G内存。3）一年内不扩容服务器来算： 100G * 360天 = 约36T。5）预留20%~30%Buf = 108T/0.7 = 154T。2.kafka、ZK、Flume传输数据比较紧密的放在一起。1）每台日活跃用户100万，每人一天平均100条： 100万。6）算到这: 约 8T*20 台服务器。

CDH大数据平台搭建之集群规划

qq_41924766的博客

06-04

1926

CHD大数据平台搭建之集群规划前言一、集群规模二、集群规划总结前言话说无规矩不成方圆，搭建CDH大数据平台之前需要的工作很多，首先，你需要计算公司每日的数据量，来确定需要多少服务器，确定好服务器之后，需要规划集群节点的分配。由于是个人搭建，不存在数据量计算，只做集群规划即可。一、集群规模每日数据量的多少，决定了服务器的数量计算规则如下： 1、hdfs数据保存3份 2、一般文件保存3年 3、每台服务器硬盘大小8T，但会留20%左右的空闲空间所需服务器数量 = 公司每日数据量(TB) * 3 * 3

【大数据】Doris 的集群规划和环境准备

Code · Cloud · Think · Repeat

12-16

2199

Doris 作为一款开源的 MPP 架构 OLAP 数据库，能够运行在绝大多数主流的商用服务器上。为了能够充分运用 MPP 架构的并发优势，以及 Doris 的高可用特性，我们建议 Doris 的部署遵循以下需求。

【全网独家】大数据集群节点与硬件规划

大数据研习社

03-28

5773

1.大数据集群节点规划 1.1 数据存储总量预估比如业务系统数据量每天增量 50T，保留周期为 30 天，那么 HDFS 存储容量为 50T * 30 天 * 3副本 * 2 倍（数据源+清晰加工） = 9000T = 8.79P 1.2 DataNode节点规模预估每个机器的磁盘是 4T *10 = 40T, 每台机器的可用存储容量为 40T *0.75 = 30T，节点预估数量= 9000T / 30 = 300 节点，所以 datanode 的节点最小数量为 300 个...

大数据集群/环境搭建指南

qq_51610110的博客

07-28

1316

大数据集群/环境搭建指南