超级会员免费看
本文关注大数据平台的集群配置，包括现有数据量、日增长量、中间计算结果的存储、数据保留期限以及冗余策略如副本数。此外，讨论了CPU、内存和存储空间的需求，强调了网络带宽的重要性，建议使用内网，并指出数据盘无需RAID，因Hadoop自带备份功能。当计算任务繁重或使用大量大数据组件时，应考虑提高CPU和内存配置。
1.现有数据量
2.日增长数据量
3.中间计算结果
4.各阶段数据存储时长
5.数据冗余空间。比如副本数
CPU和内存，总存储空间根据需求设定，集群间网络带宽要大，最好是内网。数据盘不用做raid，因为hadoop有备份数据的功能。
如果计算任务复杂且多，CPU需要高配。如果使用的大数据组件吃内存内存需要高配。
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
