大数据
winnertakeall
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据之mapreduce的wordcount
WordCountMapper:import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOExc...原创 2019-08-04 22:26:35 · 221 阅读 · 0 评论 -
大数据之mapreduce的数据分区
PartitionerMapper:import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IO...原创 2019-08-04 22:48:57 · 515 阅读 · 0 评论 -
大数据之mapreduce的排序和规约
SortMapper:import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Counter;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOExcept...原创 2019-08-04 23:18:08 · 392 阅读 · 0 评论 -
hadoop之MapReduce上网流量统计(1)
需求一:统计求和统计每个手机号的上行流量总和,下行流量总和,上行总流量之和,下行总流量之和FlowBean:import org.apache.hadoop.io.Writable;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;/** * 这里暂时不需要做排序,...原创 2019-08-04 23:30:35 · 630 阅读 · 0 评论 -
大数据之hdfs文件操作
package hdfs.demo1;import org.apache.commons.io.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.testng.annotations.Test;import java.io.*;import ja...原创 2019-08-02 15:04:00 · 251 阅读 · 0 评论
分享