Allen的博客

首先,我们了解一下mapreduce的核心思想,我们把它总结为天龙八部.map端：第一步：按照Fileinputformat格式去读取文件，形成k v对的形式进行输出；key指代是行偏移量，value指代的是一行里面的文本内容第二步：自定义map逻辑，按照相应的分隔符去拆分文本内容，形成新的k v对，进行输出。shuffle阶段：第三步：分区 相同key的value合并到同一个组，形...

执行的一个简单案例:用MapReduce实现一下需求1、搜狗日志摘取“年月日时分”2011 12 30 00 00 052、统计搜索过“爱奇艺”关键字的UID和搜索记录uid keyword3、统计上午7-9点之间，搜索过“赶集网”的用户(uid)uid4.统计12月30号8点20-8点22分,所有用户id和浏览信息1、搜狗日志摘取“年月日时分”Mapper端package ...

我们来实现一下复杂的案例求出两两之间的好友：A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J /* 第一阶段的map函数主要完成以下任务 1.遍历原始文件中...

首先还是看下我们的需求然后拿到我们的数据可以看到我们的数据里面还有很多空值,是还没清洗的脏数据,一会我们处理的时候需要将其处理掉.一.统计车辆不同用途的数量分布package hadoop.MapReduce.car.Use;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;...