（三）大数据集群规划简介

原创

已于 2023-04-14 17:30:57 修改 · 1.8k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #大数据

于 2020-07-21 17:06:48 首次发布

本文介绍了大数据集群规划的基本内容，包括服务器配置建议：Kafka推荐内存64GB+，2600GB SAS系统盘，128T SATA硬盘（RAID1）；HDFS、HBase和Hive需要256GB内存，2600GB SAS硬盘，128T SATA硬盘（RAID0）；Elasticsearch推荐256GB内存，2600GB SAS硬盘，大于20倍内存的磁盘（RAID0）。此外，还涉及集群数量规划和服务角色分配，如NameNode和DataNode，以及HBase的Master和RegionServer。文章解释了磁盘RAID技术用于提升数据传输速度。

大数据集群规划简介

1:服务器配置

kafka 内存：64GB（以上） DDR4；硬盘：2600GB SAS 硬盘(系统盘);128T SATA硬盘；磁盘推荐raid1
hdfs+hbase+hive 推荐配置----内存：256GB DDR4；硬盘：2600GB SAS 硬盘;128T SATA硬盘；raid0
elasticsearch 推荐配置----内存：256GB DDR4（越大越好）；2600GB SAS 硬盘;128T SATA硬盘；推荐raid0,有副本冗余机制。磁盘》=20*内存

2:集群数量规划

zookeeper	:(100台服务器下)3台；	（>=100）5台
kafka:根据数据量的io需求实际测试
		点数计算方式：
			按照吞吐量计算：X（总吞吐量，MB/秒） / 100（单节点最大Producer吞吐量，MB/秒） / 0.85（预留比例）
			按照存储量计算：X（总吞吐量，MB/秒） * 3600 * 24 * D（天数，默认7）* 2（副本数） / 1024 / 1024 / (25 * 0.96) / 0.85（预留比例）
			二者取大值，最少配置2台。
hbase:hbase数据写入快，节点数计算公式：
		节点数 = 规划数据量 * 1.5 （数据膨胀率） * 1（数据压缩率） * 3（3副本）/ 0.8（磁盘利用率） / 0.9 （磁盘进制转换）/ （12 （磁盘个数） * 4T （磁盘容量））
es:写入慢读取快，同样数据写入es和hbase，一般服务器数量多于hbase
		节点数 = 规划数据量 * 1.5 （数据膨胀率） * 1（数据压缩率） * 2（2副本）/ 0.8（磁盘利用率） / 0.9 （磁盘进制转换）/ （24 （磁盘个数） * 0.96T （磁盘容量）* 5 / 6 （RAID系数））
hdfs:数据的总计算资源存储资源。

最低0.47元/天解锁文章