1.现有数据量
2.日增长数据量
3.中间计算结果
4.各阶段数据存储时长
5.数据冗余空间。比如副本数
CPU和内存,总存储空间根据需求设定,集群间网络带宽要大,最好是内网。数据盘不用做raid,因为hadoop有备份数据的功能。
如果计算任务复杂且多,CPU需要高配。如果使用的大数据组件吃内存内存需要高配。
数据平台集群服务器数量节点数及存储容量等参数
最新推荐文章于 2023-12-23 22:13:24 发布
本文关注大数据平台的集群配置,包括现有数据量、日增长量、中间计算结果的存储、数据保留期限以及冗余策略如副本数。此外,讨论了CPU、内存和存储空间的需求,强调了网络带宽的重要性,建议使用内网,并指出数据盘无需RAID,因Hadoop自带备份功能。当计算任务繁重或使用大量大数据组件时,应考虑提高CPU和内存配置。
1099

被折叠的 条评论
为什么被折叠?



