Binder~的博客

1.依赖环境下载：java 6+python 2.6+下载并配置环境变量，最好设置对应软链，方便更换版本具体过程略。。。2.下载storm包http://storm.apache.org/downloads.html下载后解压 tar zxvf  apache-storm-1.0.2.tar,gz3.启动相应服务并在web ui上查看mkdir logs启动

一.操作系统调优1.避免使用swap分区2.调整内存分配策略系统内核根据vm.overcommit_memory的值来决定分配策略，值为0,1,2。0表示内核将检查是否有足够的可用内存供应用进程使用，如果有则申请允许，否则内存申请失败1表示内核允许分配所有的物理内存，而不管内存的内存状态如何2表示内核允许分配超过所有物理内存和交换空间的总和，通过vm.overcommit_

1.JOIN优化执行JOIN语句时，将大表放在右边，如果表小到可以全部加载到内存中，可以考虑执行map端的JOIN2. Reducer数量可以将Reducer最大值设置为n*0.95，n为TaskTracker数量通过设置hive.exec.reducers.max可以增加Reducer数量，但是这样并不能直接增大Hive中作业的Reducer个数，HIve作业的Reducer个数