
hadoop 改写计划与实现
涛侠
这个作者很懒,什么都没留下…
展开
-
hadoop的输入文件了解了
<br />昨天终于把输入文件搞清楚了, 知道了HDFS里到底在一个任务开始的时候上传了哪些文件和怎样分割文件的。具体的内容有空放在博客上吧,现在需要继续看下去,下一步要做的事情就是搞清map任务怎么做到本地化和hadoop如何实现序列化的,还有一段路要走啊,学习效率很低,很烦,老是被无聊的事烦心,戒焦戒躁吧。<br />如果有人有需要,可以给我留言,我会及时把我看到的东西给大家分享原创 2011-03-17 08:39:00 · 1286 阅读 · 5 评论 -
Hadoop Gridmix
1、 概述 Hadoop Gridmix是针对hadoop系统的基准测试程序。它具备评测大规模数据处理系统所需的各个功能模块,包括:产生数据,生成并提交作业,统计作业完成时间等。本文主要介绍了Hadoop 0.20.2中自带的Gridmix2基准测试程序(位于\src\benchmarks目录下)的设计原理及使用方法。 2、 作业种类 Gridmix通转载 2011-11-18 19:47:50 · 1496 阅读 · 0 评论