
云计算 hadoop hbase mapreduce
Mr-zhou
本人从事hadoop方向工作希望和大家多有交流的机会和有志在此方向有所成绩的战友共同学习
展开
-
Hadoop Mapreduce优先级调度
跑三个mapreduce 分别设置优先级VERY_HIGH,HIGH,NORMAL 我认为 会等第一个mapreduce 完成之后 才开始第二个,第三个mapreduce 结果不是这样,在第一个开始执行,不再堵塞的情况下 第二个、第三个就开始run了,且结束时间可能会在第二个第一个之前。原创 2012-07-05 10:44:28 · 2659 阅读 · 0 评论 -
hbase.hregion.max.filesize 默认值 到底是多少
看到不少的说明都说这个参数的默认值为256M 也就是当HStoreFile 大于这个文件时,就会split 成两个文件,这个从源码中能看到如下的内容 conf.getLong("hbase.hregion.max.filesize",HConstants.DEFAULT_MAX_FILE_SIZE); 而HConstants.DEFAULT_MAX_FILE_SIZE 正是 256*1024*原创 2012-07-27 18:18:02 · 9767 阅读 · 3 评论 -
FileInputFormat setInputPaths 和 采用listStatus 对比
FileInputFormat.setInputPaths(job,paths) path可以给定给一个目录 系统会会从该目录下找打文件作为输入,但是如果给定的目录下面还有一层目录,则系统就不会再深入一层,并且可能会提示错误: 13/01/22 18:12:56 WARN mapred.LocalJobRunner: job_local_0001 java.io.FileNotFoundExc原创 2013-01-22 18:23:23 · 6243 阅读 · 0 评论 -
CombineFileInputFormat
package cn.mrzhou.test; import java.io.IOException; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hado原创 2013-08-09 11:57:02 · 1989 阅读 · 0 评论