clamaa的专栏

OS and File System 根据Dell（因为我们的硬件采用dell的方案）关于hadoop调优的相关说明，改变几个Linux的默认设置，Hadoop的性能能够增长大概15%。   open file descriptors and files 文件描述符是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时，内核向进程返回一

Hadoop Settings 由于Hadoop节点的系统配置，一些hadoop的设置可以减少运行系统中的瓶颈。首先，提高Java运行时的堆内存容量，也要和系统中的整体内存容量相关；其次，保持hadoop中派生的task数量与处理器数量相关。   一个比较好的规则是一个Reducer或两个Mapper分配一个处理器；如果系统拥有足够多的内存容量，设置Java堆的最大大小为1GB或更大。此外，