sanguomi的专栏

从搭建hadoop环境到测试完成大概用了8,9天的时间，总的来说，hadoop上手还是比较容易的，只是内部确实有点复杂。 测试环境部署用了22台机器，CPU 16核，感觉有点浪费。 日志每分钟往hdfs写600M的log，每五分钟提交一次hadoop任务，大概一个任务处理2G多点的文件，测试结果，到reduce 完成时间大概是1分9- 1分30秒之间，大概是开了90多个map, 这在以前pc上

1 CombineFileinputFormat (预处理阶段) 或尽量使用大文件 2 Combine(map输出阶段) 3 压缩数据(map输出阶段)，减少传往reduce的阶段的网络传输,内存和磁盘交换 4 数据过滤(写hdfs之前) 5 Comparator(复杂数据， Reduce阶段) 以上纯纯个人观点

花费了差不多一天的时间，安裝好了hadoop环境，一台服务器作为master, 三台作为dataNode ,测试了官方的demo，可以正确运行。 哪天有时间再来总结, 解决问题 http://blog.sina.com.cn/s/blog_575b0ca501016z6i.html http://www.cnblogs.com/wly603/archive/2012/