1.MR基础_介绍

Hadoop MapReduce是一种分布式并行框架,支持在大型集群上可靠地处理TB级别的数据。不仅支持Java,还允许使用其他语言编写应用程序。具备数据划分、计算任务调度、数据/代码互定位、系统优化和出错检测恢复等功能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一.介绍

  • Hadoop MapReduce是一个分布式并行框架。用于轻松编程,以可靠、容错的方式在大型集群(数千个节点)的商用硬件上并行处理大量数据(TB级别数据)。
  • 虽然Hadoop框架是用Java实现的,但MapReduce应用程序不需要用Java编写,也可以使用其他语言编写。
    • Hadoop Streaming:是一个实用的程序,它允许用户运行的作业使用任何可执行文件创建(例如shell实用程序)Mapper和Reducer。

二.主要功能

1.数据划分和计算任务调度

系统自动将一个作业(Job)待处理的大数据划分为很多个数据块,每个数据块对应于一个计算任务(Task),并自动调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点(Map节点或Reduce节点),同时负责监控这些节点的执行状态,并负责Map节点执行的同步控制。

2.数据/代码互定位

为了减少数据通信,一个基本的原则是本地化数据处理,即一个计算节点尽可能处理其本地磁盘上所分布存储的数据,这实现了代码向数据的迁移;当无法进行这种本地化数据处理时,再寻找其他可用节点并将数据从网络上传送给该节点(数据向代码迁移),但尽可能从数据所在的本地机架上寻找可用节点以减少通信延迟。

3.系统优化

为了减少数据通信开销,中间结果数据进入Reduce节点前会进行一定的合并处理;一个Reduce节点所处理的数据可能会来自多个Map节点,为了避免Reduce计算阶段发生数据处理不平衡,Map节点输出的中间结果需使用一定的策略进行适当的划分处理,保证相关性数据发送到同一个Reduce节点;此外,系统还进行一些及酸性能优化处理,如对最慢的计算任务采用多备份执行、选最快完成者作为结果。

4.出错检测和恢复

以低端的商用服务器构成的大规模MapReduce计算集群中,节点硬件(主机、磁盘、内存等)出错和软件出错是常态,因此MapReduce需要能检测并隔离出错节点,并调度分配新的节点接管出错节点的计算任务。同时系统还将维护数据存储的可靠性,用多备份冗余存储机制提高数据存储的可靠性,并能及时检测和恢复出错的数据。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值