企业级hadoop集群选型配置

本文介绍了企业级Hadoop集群的硬件和软件配置要求。硬件方面,推荐使用双四核2-2.5GHz CPU,16-24GB内存,4块2TB SATA硬盘,以及千兆以太网。软件上,建议采用64位Linux发行版,并选择合适的Hadoop版本、JDK。此外,文章提及了淘宝的大规模Hadoop集群实例,以及Master和Slave节点的硬件配置。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

硬件配置
处理器: 2个四核2-2.5GHz的CPU
内存: 16-24GB
存储器:4 * 2TB SATA硬盘(不需要RAID)
网络: 千兆以太网

软件配置
操作系统: 发型版的64位linux(CentOS, Ubuntu, Redhat)
Hadoop版本: 免费的有Apache, CDH,付费的有华为,EMC,INTEL的
JDK: 64位的jdk, 32最大只能支持3G内存


淘宝的hadoop集群规模
1700个节点,数据总量17PB,每天增长20TB, 每天的MR任务有4万个
Master节点包括Jobtracker, Namenode, SecondNamenode
       硬件配置: 16CPU*4核, 96G内存
Slave节点包括Tasktracker和Datanode
       硬件配置: 8~16CPU*4核,16~24G内存

网络的拓扑结构企业级hadoop集群选型配置 - rocker_xu - rocker_xu的大数据博客
 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值