本文介绍了企业级Hadoop集群的硬件和软件配置要求。硬件方面，推荐使用双四核2-2.5GHz CPU，16-24GB内存，4块2TB SATA硬盘，以及千兆以太网。软件上，建议采用64位Linux发行版，并选择合适的Hadoop版本、JDK。此外，文章提及了淘宝的大规模Hadoop集群实例，以及Master和Slave节点的硬件配置。
硬件配置
处理器： 2个四核2-2.5GHz的CPU
内存： 16-24GB
存储器：4 * 2TB SATA硬盘（不需要RAID）
网络： 千兆以太网
软件配置
操作系统： 发型版的64位linux（CentOS, Ubuntu, Redhat）
Hadoop版本： 免费的有Apache, CDH，付费的有华为，EMC，INTEL的
JDK: 64位的jdk， 32最大只能支持3G内存
淘宝的hadoop集群规模
1700个节点，数据总量17PB，每天增长20TB， 每天的MR任务有4万个
Master节点包括Jobtracker, Namenode, SecondNamenode
硬件配置： 16CPU*4核， 96G内存
Slave节点包括Tasktracker和Datanode
硬件配置： 8~16CPU*4核，16~24G内存
网络的拓扑结构
扫一扫
425
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
