
MapReduce
文章平均质量分 84
雅风不雅
这个作者很懒,什么都没留下…
展开
-
MapReduce JAVA框架开发流程,后附代码实现
MapReduce JAVA框架开发流程 总体流程 用户提交任务给集群 集群首先对输入数据源进行切片 master 调度 worker 执行 map 任务 worker 读取输入源片段 worker 执行 map 任务,将任务输出保存在本地 master 调度 worker 执行 reduce 任务,reduce worker 读取 map 任务的输出文件 执行 reduce 任务...原创 2018-12-14 22:15:24 · 1239 阅读 · 0 评论 -
MapReduce原理简介
昨天其实写了一部分Mapreduce的运行原理 见博客https://blog.youkuaiyun.com/weixin_42231373/article/details/85010279写了细节部分 今天以图的方式结合文字来捋捋思路 0) 用户提交任务 (含数据) 1) 集群首先对输入数据源进行切片 2) master 调度 worker 执行 map 任务 3) work...原创 2018-12-15 10:28:32 · 2604 阅读 · 0 评论