3-1MR介绍(Hadoop系列day03)

MR是什么

MR是一个 分布式计算编程模型

Google在2004年提出来MR模型,后来Hadoop借鉴了。

我们通过他提供的一些接口和类就可以实现分布式计算。

MR解决了海量数据的计算。
(Map并行计算;Reduce汇总)
这里写图片描述

MR概述

这里写图片描述

用户只要写Map和Reduce的实现就可以了。
MR的输入和输出都是key、value对。

Hadoop1.0时代: MR老大叫JobTracker(只能运行MR)小弟叫TaskTracker
Hadoop2.0时代:MR老大叫RM(资源管理者) 小弟叫NM(NodeManager)

首先将计算的数据上传到HDFS里面。

MR原理

这里写图片描述

只需要实现Map和Reduce方法。

在Map和Reduce方法中分别实现自己的逻辑。
不同的公司可以根据自己的情况来实现自己的业务,底层细节不用自己关心

M、R的输入输出都是key-value形式

M将数据给R之前进行了分组(Group)

==》

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值