
大数据
种花家的小白
初心不改,韶华不负
展开
-
hibench适配3.1.1
参数说明/* * <li>read or write test</li> * <li>date and time the test finished</li> * <li>number of files</li> * <li>total number of bytes processed</li&g...原创 2020-04-04 13:51:32 · 551 阅读 · 1 评论 -
记一次mapreduce排错经历
背景最近要基于hdp做一次性能测试,早上提交任务时,发下,一直挂掉具体报错如下:java.lang.NumberFormatException: For input string: "32M"# 查看所有的任务yarn application -list -appStates ALL# 找到最近失败的url,后台查看,发现失败的job全部集中在node8上,怀疑是2进制或者环境变量的...原创 2020-03-29 14:01:59 · 223 阅读 · 0 评论 -
修改hibench以支持reduce端压缩
修改hibench以支持reduce端压缩背景mapreduce.output.fileoutputformat.compress设置为true的时候,对结果分析的时候会报错,无法读取到文件修改的地方,在于2处在对运行结果进行Analyse时候,会读取part-00000这个文件,但是当背景参数设置为true时,这个文件会被压缩,实际存在的形式为``````part-00000,Test...原创 2020-03-11 13:44:15 · 390 阅读 · 0 评论