
MapReduce
zkhong07
这个作者很懒,什么都没留下…
展开
-
hadoop的MR当用MultipleInputs时要获取文件路径名称方法以及TaggedInputSplit报错
HADOOP中利用MR读取输入文件名报错Error: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.TaggedInputSplit cannot be cast to org.apache.hadoop.mapreduce.lib.input.FileSplit原因:因为我的MR需要多路读取hdfs文件,所以使用 MultipleInputs.addInputPath读取文件。却使用了FileInputForma原创 2020-06-03 18:18:53 · 450 阅读 · 0 评论 -
MR 单词计数Demo
MAPpackage cn.itcast.bigdata.mr.wcdemo;import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.a...转载 2019-07-29 17:19:34 · 440 阅读 · 0 评论 -
利用MapReduce计算运营商上行下行流量
上行下行流量统计 package cn.itcast.bigdata.mr.flowsum; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWrita...转载 2019-07-29 20:25:37 · 563 阅读 · 0 评论