基于x86服务器的Hadoop集群配置参考

基于Hadoop的大数据方案越来越多地被企业所采用。但是,如何进行合理地规划和配置Hadoop平台是很多用户头痛的事情。在我们接触或合作的很大一部分客户,他们在给Hadoop配置硬件的时候,通常没有考虑到对大数据处理的特性,造成后续Hadoop集群的性能无法满足要求。典型的配置问题包括:

  • 数据节点的CPU和内存配置很高,但磁盘数量很少(少于6块磁盘)
  • 按容量考虑而选择单盘容量非常大的磁盘(大于8TB),但磁盘数量偏少
  • 数据接收速度和查询性能要求高,但配置的是1GbE网络
  • 高可用性要求高场景下管理节点和数据节点混合在一起,或者管理节点数量偏少(少于4个)

本文通过三种不同场景的Hadoop集群方案,对其配置进行说明以便为用户提供参考。

方案一:低成本的互联网分析(IA)

该方案是为互联网分析(Internet Analysis,缩写成IA)或一般非结构化数据处理而设计的Hadoop集群,具有以下特点:

支持非结构化数据的接收和分析

  • WebServer日志文件,点击流量,Twitter或Facebook的流入
  • 支持使用DataClick、BigInsights或Scoop进行数据注入
  • 运行Map/Reduce作业

数据的临时存储或轻量存储的要

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值