
大数据
winnertakeall
这个作者很懒,什么都没留下…
展开
-
大数据之mapreduce的wordcount
WordCountMapper: import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOExc...原创 2019-08-04 22:26:35 · 202 阅读 · 0 评论 -
大数据之mapreduce的数据分区
PartitionerMapper: import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IO...原创 2019-08-04 22:48:57 · 490 阅读 · 0 评论 -
大数据之mapreduce的排序和规约
SortMapper: import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Counter; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOExcept...原创 2019-08-04 23:18:08 · 373 阅读 · 0 评论 -
hadoop之MapReduce上网流量统计(1)
需求一:统计求和 统计每个手机号的上行流量总和,下行流量总和,上行总流量之和,下行总流量之和 FlowBean: import org.apache.hadoop.io.Writable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; /** * 这里暂时不需要做排序,...原创 2019-08-04 23:30:35 · 601 阅读 · 0 评论 -
大数据之hdfs文件操作
package hdfs.demo1; import org.apache.commons.io.IOUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.testng.annotations.Test; import java.io.*; import ja...原创 2019-08-02 15:04:00 · 231 阅读 · 0 评论