在hadoop的文档里明确提出了不需要使用RAID(见
http://wiki.apache.org/hadoop/DiskSetup)。hadoop本身的冗余机制使得RAID的冗余机制变得多余了。
并且根据一篇文章《why not use RAID?》的描述:在Yahoo Hadoop Cluster的Benchmark中,测试Gridmix显示使用JBOD相比RAID能提高写性能10%以上。
http://wiki.apache.org/hadoop/FAQ#How_do_I_set_up_a_hadoop_node_to_use_multiple_volumes.3F
<property>
<name>dfs.data.dir</name>
<value>/data0,/data1</value>
</property>
########################
注意!!!
上面是hdfs的目录的jbod配置,实际测试中,mapper和reducer执行时也会对硬盘造成不小的压力。
修改这个参数:mapred.local.dir 。修改方法与dfs.data.dir一样,一逗号隔开。
########################
附件是系统级的相关操作。
转载于:https://blog.51cto.com/chcearth/847354