基于Hadoop的大数据方案越来越多地被企业所采用。但是,如何进行合理地规划和配置Hadoop平台是很多用户头痛的事情。在我们接触或合作的很大一部分客户,他们在给Hadoop配置硬件的时候,通常没有考虑到对大数据处理的特性,造成后续Hadoop集群的性能无法满足要求。典型的配置问题包括:
- 数据节点的CPU和内存配置很高,但磁盘数量很少(少于6块磁盘)
- 按容量考虑而选择单盘容量非常大的磁盘(大于8TB),但磁盘数量偏少
- 数据接收速度和查询性能要求高,但配置的是1GbE网络
- 高可用性要求高场景下管理节点和数据节点混合在一起,或者管理节点数量偏少(少于4个)
本文通过三种不同场景的Hadoop集群方案,对其配置进行说明以便为用户提供参考。
方案一:低成本的互联网分析(IA)
该方案是为互联网分析(Internet Analysis,缩写成IA)或一般非结构化数据处理而设计的Hadoop集群,具有以下特点:
支持非结构化数据的接收和分析
- WebServer日志文件,点击流量,Twitter或Facebook的流入
- 支持使用DataClick、BigInsights或Scoop进行数据注入
- 运行Map/Reduce作业
数据的临时存储或轻量存储的要