
mapreduce
hao难懂
这个作者很懒,什么都没留下…
展开
-
01MR工作机制
MAPREDUCE框架分为两个阶段:map阶段:程序MapTask 对maptask读到的一行数据如何处理。 reduce阶段:程序ReduceTask 对reducetask拿到的一组相同key的kv数据如何处理。...原创 2019-09-27 11:04:56 · 157 阅读 · 0 评论 -
01MR两种jar包导入(主要是maven)
一、可以自己导入jar包新建一个JavaProject项目,再建一个folder文件夹,命名为lib,将common,hdfs,mapreduce下的所有jar包拷贝到eclipse中,然后再将他们各自目录下的lib中的jar包也拷贝到eclipse中的lib文件夹中。二、可以使用maven (常用)1.下载一个maven压缩包,在eclipse中依次点击Window->perf...原创 2019-09-27 11:06:48 · 271 阅读 · 0 评论 -
03MR实现wordcount
KEYIN: 是maptask读取到数据的key类型,是一行的起始偏移量Long。VALUEIN: 是maptask读取到数据的value类型,是一行的内容String。KEYOUT: 是用户自定义map方法要返回结果kv数据的key类型,在wordcount逻辑中,我们需要返回的是单词String。VALUEOUT: 是用户自定义map方法要返回结果kv数据的value类型,在wc逻辑中...原创 2019-09-27 11:09:42 · 278 阅读 · 0 评论 -
04job客户端逻辑代码
import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntW...原创 2019-09-27 11:11:47 · 150 阅读 · 0 评论