基于x86服务器的Hadoop集群配置参考

基于Hadoop的大数据方案越来越多地被企业所采用。但是，如何进行合理地规划和配置Hadoop平台是很多用户头痛的事情。在我们接触或合作的很大一部分客户，他们在给Hadoop配置硬件的时候，通常没有考虑到对大数据处理的特性，造成后续Hadoop集群的性能无法满足要求。典型的配置问题包括：

• 数据节点的CPU和内存配置很高，但磁盘数量很少（少于6块磁盘）
• 按容量考虑而选择单盘容量非常大的磁盘（大于8TB），但磁盘数量偏少
• 数据接收速度和查询性能要求高，但配置的是1GbE网络
• 高可用性要求高场景下管理节点和数据节点混合在一起，或者管理节点数量偏少（少于4个）

本文通过三种不同场景的Hadoop集群方案，对其配置进行说明以便为用户提供参考。

方案一：低成本的互联网分析（IA）

该方案是为互联网分析（Internet Analysis，缩写成IA）或一般非结构化数据处理而设计的Hadoop集群，具有以下特点：

支持非结构化数据的接收和分析

• WebServer日志文件，点击流量，Twitter或Facebook的流入
• 支持使用DataClick、BigInsights或Scoop进行数据注入
• 运行Map/Reduce作业

数据的临时存储或轻量存储的要