大数据学习（07）--MapReduce

最新推荐文章于 2025-05-02 22:37:56 发布

Zero-One-0101

最新推荐文章于 2025-05-02 22:37:56 发布

阅读量2.6k

点赞数 17

CC 4.0 BY-SA版权

分类专栏： ML&DL-大数据学习文章标签：大数据 MapReduce

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/wangzi11111111/article/details/89095087

ML&DL-大数据学习专栏收录该内容

16 篇文章

订阅专栏

目录

1.MapReduce介绍

1.1 什么是分布式并行编程？

在这里插入图片描述

传统的并行计算框架：cuda,MPI,OPENMP等等
参考博客

1.2 MapReduce模型介绍

在这里插入图片描述

1.3 map和reduce函数

在这里插入图片描述

结合操作：对键相同的数据的值进行相加
归并操作：对键相同的数据的值组合成一个数组

2.MapReduce体系架构

在这里插入图片描述

3.MapReduce工作流程

3.1 概述

在这里插入图片描述

3.2 MapReduce各个阶段介绍

在这里插入图片描述

3.3 shuffle过程介绍

3.3.1 shuffle过程简介

在这里插入图片描述

3.3.2 map中的shuffle过程

在这里插入图片描述

3.3.3 reduce中的shuffle过程

在这里插入图片描述

3.3.4 MapReduce应用程序执行过程

在这里插入图片描述

map和reduce执行过程中产生的数据都是存储在其本地计算机内部，这样可以避免频繁的通信造成的延迟和不必要的错误。

4.MapReduce具体应用

4.1 wordCount

4.1.1 程序的任务

在这里插入图片描述

4.1.2 设计思路

在这里插入图片描述

只要问题可以满足分治的思想解决的，都可以使用MapReduce程序解决

4.1.3 执行过程

在这里插入图片描述

4.2 关系表的自然连接

在这里插入图片描述

5.MapReduce编程实践

5.1 任务

在这里插入图片描述

5.2 编写map处理逻辑

在这里插入图片描述

5.3 编写reduce处理逻辑

在这里插入图片描述

5.4 编写main方法

在这里插入图片描述
完整代码

5.5 打包编译程序

在这里插入图片描述

5.6MapReduce中执行MapReduce其他方法

在这里插入图片描述

6.总结

在这里插入图片描述

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。