Hadoop系列之四:MapReduce进阶

Hadoop实战系列之MapReduce 分析 Youtube视频数据 Hadoop实战系列之MapReduce 分析 Youtube视频数据 一、实战介绍 MapReduce 是 Hadoop 的计算框架。 在运行一个 MR 程序时,任务过程被分为两个阶段:Map 阶段和 Reduce 阶段,每个阶段都是用键值对作为输入和输出。 本文知识点: eclipse 的 Hadoop 开发环境搭建 编写 MR 程序 本地运行 生成 Jar 包提交 yarn ... 阅读详情

版权声明:原创作品,如需转载,请与作者联系。否则将追究法律责任。

1、mapper和reducer

MapReduce对数据的处理分为两个阶段:map阶段和reduce阶段,这两个阶段分别由用户开发的map函数和reduce函数完成,在MapReduce运行环境中运行时,它们也分别被称为mapper和reducer。 键值对(key-value pair)是MapReduce的基础数据结构,mapper和reducer读入和输出的数据均为键值对。MapReduce中,“键”和“值”可以是基础类型数据,如整数、浮点数、字符串或未经加工的字节数据,也可以是任意形式的复杂数据类型。程序员可以自行定义所需的数据类型,也可借助于Protocol Buffer、Thrift或Avro提供的便捷方式完成此类工作。
 
MapReduce算法设计的工作之一就是在给定数据集上定义“键-值”数据结构,比如在搜索引擎搜集、存储网页类工作中,key可以使用URL来表示,而value则是网页的内容。而在有些算法中,Key也可以是没有任何实际意义的数据,其在数据处理过程中可被安全忽略。在MapReduce中,程序员需要基于如下方式定义mapper和reducer:
map: (k1,v1)-->[(k2,v2)]
reduce: (k2,[v2])-->[(k3,v3)]
其中[...]表示其可能是一个列表。这些传递给MapReduce进行处理的数据可以存储于分布式文件系统上,mapper操作将应用于每一个传递过来的“键-值”对并生成一定数量的“中间键值对(intermediate key-value)”,而后reduce操作将应用于这些中间键值对并于处理后输出最终的键值对。
 
另外,mapper操作和reducer操作之间还隐含着一个应用于中间键值对的“分组”操作,同一个键的键值对需要被归类至同一组中并发送至同一个reducer,而传送给每个reducer的分组中的键值对是基于键进行排序后的列表。reducer生成的结果将会保存至分布式文件系统,并存储为一个或多个以r(即reducer号码)结尾的文件,但mapper生成的中间键值对数据则不会被保存。

 

 
MapReduce在大数据处理时,会根据要处理的数据文件及用户编写的map函数首先将数据分割为多个部分(split),而后为每一个split启动一个map任务(map task,即map进程),这些map任务由MapReduce运行环境调度着分散运行于集群中的一个或多个节点上;每个mapper执行结束后,都可能会输出许多的键值对,称作中间键值对,这些中间键值对临时性地存放在某位置,直到所有的mapper都执行结束;而后MapReduce把这些中间键值对重新进行分割为一个或多个分组,分组的标准是 键相同的所有键值对都要排序后归入同一个组中,同一个组可以包含一个或多个键及其对应的数据,MapReduce运行环境会为每一个分组启动一个reduce任务 (reduce task),这些reduce任务由MapReduce运行环境调度着运行于集群中的一个或多个节点上。
 
事实上,中间键值对分组的功能由一个称作 partitioner的专用组件负责,后文对此会有进一步阐述。
 
 


 单reduce任务的MapReduce数据流
图像来源:hadoop the definitive guide 3rd edition

 多reduce任务的MapReduce数据流
图像来源:hadoop the definitive guide 3rd edition

mapper和reducer可以直接在各自接收的数据上执行所需要的操作,然而,当使用到外部资源时,多个mapper或reducer之间可能会产生资源竞争,这势必导致其性能下降,因此,程序员必须关注其所用资源的竞争条件并加入适当处理。其次,mapper输出的中间键值对与接受的键值对可以是不同的数据类型,类似地,reducer输出的键值对与其接收的中间键值对也可以是不同的数据类型,这可能会给编程过程及程序运行中的故障排除带来困难,但这也正是MapReduce强大功能的体现之一。
 

除了常规的两阶段MapReduce处理流外,其还有一些变化形式。比如将mapper输出的结果直接保存至磁盘中(每个mapper对应一个文件)的没有reducer的MapReduce作业,不过仅有reducer而没有mapper的作业是不允许的。不过,就算用不着reducer处理具体的操作,利用reducer将mapper的输出结果进行重新分组和排序后进行输出也能以另一种形式提供的完整MapReduce模式。

没有reducer的MapReduce作业
图像来源:hadoop the definitive guide 3rd edition

MapReduce作业一般是通过HDFS读取和保存数据,但它也可以使用其它满足MapReduce应用的数据源或数据存储,比如Google的MapReduce实现中使用了Bigtable来完成数据的读入或输出。BigTable属于非关系的数据库,它是一个稀疏的、分布式的、持久化存储的多维度排序Map,其设计目的是可靠的处理PB级别的数据,并且能够部署到上千台机器上。在Hadoop中有一个类似的实现HBase可用于为MapReduce提供数据源和数据存储。这些内容在后文中会有详细介绍。


参考文献:
Data-Intensive Text Processing with MapReduce
Hadoop The Definitive Guide 3rd edtion
Apache Hadoop Documentation

本文出自 “马哥教育Linux运维” 博客,转载请与作者联系!

Hadoop系列 (五):MapReduce详细介绍 MapReduce过程详细介绍 阅读详情

相关推荐

hadoop之MapReduce简介

hadoop之MapReduce的一些简介,架构和分析

cxzaiwyy的博客 4990

Hadoop mapreduce过程key 和value分别存什么值

转自:https://www.cnblogs.com/gaopeng527/p/5436820.html这里以wordCount为例,直接看图就懂了:(1)inputFormat将hdfs上要处理的文件一行一行的读入,将文件拆分成splits,由于测试用的文件较小,所以每个文件为一个split,并将文件按行分割形成<key,value>对,如图4-1所示。这一步由MapReduce框架...

小爷欣欣 1万+

Hadoop:一文详解MapReduce的工作机制

Hadoop MapReduce是一个软件框架,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的大集群上,并以一种可靠的,具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词,一是软件框架,二是并行处理,三是可靠且容错,四是大规模集群,五是海量数据集。因此,对于MapReduce,可以简洁地认为,它是一个软件框架,海量数据是它的“菜”,它在大规模集群上以一种可靠且容错的方式并行地“烹饪这道菜”。

Machine Learning with Tutors 7382

大数据学习笔记-MapReduce(一) 入门基础理论

MapReduce是Hadoop中生态圈重要组件,目前该组件随退到二线,但是其思想依然是很多框架的来源

zhang_232的专栏 1147

Hadoop系列-04 Hadoop MapReduce进阶指南:原理解析与实战开发全流程

Hadoop MapReduce是一个分布式并行计算框架,采用"分而治之"思想处理大规模数据。其核心分为Map和Reduce两阶段:Map负责将任务分解为并行小任务,Reduce汇总结果。编程模型包含8个步骤:Map阶段2步(数据切分和处理)、Shuffle阶段4步(分区、排序、规约、分组)、Reduce阶段2步(合并排序和输出)。以词频统计为例,Mapper将文本拆分单词并标记为1次,Reducer汇总相同单词次数。Hadoop封装了专用数据类型如Text、IntWritable等替代

yangwei2048的博客 1178

Hadoop实战系列之MapReduce 分析 Youtube视频数据_hadoop 怎么解析视频文件

双击桌面上的eclipse图标,创建项目:file->other->Map/Reducer Project->Next->Project name创建名为VideoCount的项目名,然后创建名为com.zout的包,接着在包里面创建一个java类,类名为VideoCount,每一行为一条数据,本次实战共1000w条数据。(由于任务量有要求,但是下载的数据只有50w条,因此复制了20份合并成一个数据文件。| related IDs | 相关视频ID:数量不超过20个,每一个相关视频的ID均为单独的一列 |

2401_84167046的博客 992

12-何为分,何为合-Mapper&Reducer介绍

Mapper&Reducer介绍 1 Mapper&Reducer概述 MapReduce是Hadoop进行数据处理的核心组件。Hadoop MapReduce是一个软件框架,通过它我们可以非常轻松的写出应用程序来处理存储在Hadoop分布式文件系统中的各种结构化和非结构化的数据。MapReduce工作分成两个阶段:Map阶段和Reduce阶段。每个阶段都以键值对作为输入和输出。 ...

软通大学企业博客 2018

hadoop mapreduce csv

hadoop mapreduce csv 有一个csv文件,记录了在网课中发言了的学生的名字和所在国家,要求:找到每个国家里有几个学生在这堂课上发言了。例:China:3。 分析 这道题,本质上跟mapreduce的入门程序wordcount并没有什么区别,其实就是丢弃第一列(学生姓名),只需要保留国家名称就好,剩下的就跟wordcount是一样的了。难点主要就是不熟悉csv文件,不好对对csv文件进行处理。 关于csv文件 什么是csv文件-360百科 Java读取csv文件的多种方式 ...

qq_49681171的博客 3763

node(map对象/键值对,作用域,函数作用域,全局作用域)

什么是键值对? 键值对('key = value') 顾名思义,每一个键会对应一个值。 比如: 身份证号和你本人是绑定的关系。每一个身份证号(键)都会对应一个小可爱(值)。 我们在登录微信或者游戏时,需要输入手机号验证身份。系统会向该手机号发送一条验证短信。 这里的手机号码(键),对应的接收用户就是值。 每个键对应响应的值,当按下响应的键时,就会输出响应的结果。 键:就是存的值的编号。 值:就是要存放的数据。

m0_73495603的博客 1638

JavaWeb在线商城系统实战:Servlet+JSP+JDBC三层架构详解

JavaWeb 是基于 Servlet 规范的传统 Web 开发技术栈,其核心在于理解请求响应生命周期、会话管理与 JDBC 手动事务控制。本文围绕经典三层架构(表现层 JSP/Servlet、业务逻辑层、数据访问层 JDBC)展开,解析 request 处理流程、session 状态保持机制、MySQL utf8mb4 字符集配置及手动事务 ACID 保障原理。技术价值体现在脱离 Spring Boot 框架依赖后对基础链路的深度掌控能力,适用于课程设计、毕业设计及 Java 后端入门工程实践。文中重点覆

weixin_34269583的博客 369

MapReduce高阶实现

MapReduce高阶实现

Hadoop大数据开发基础系列:五、MapReduce进阶编程

五、MapReduce进阶编程 目录: 1.筛选日志文件并生成序列化文件 2.HadoopJavaAPI读取序列化日志文件 3.优化日志文件统计程序 4.Eclipse提交日志文件统计程序 5.小结 6.实训 7.小练习 任务背景:网站运营方又提出来新的需求,为了比较今年与去年同期的用户访问数据,要求分别统计出2016年1月与2月的用户访问次数,并输出到不同的目录中。在本章中...

Nelson_hehe的博客 6824

百度飞桨+文心大模型实战:生成式AI工程师认证备考全攻略(含真题解析)

本文详细解析百度飞桨与文心大模型结合的生成式AI工程师认证备考策略,涵盖认证体系、学习路径、核心技能突破及真题分析。帮助开发者掌握大模型原理、飞桨平台操作和文心大模型应用,高效通过工信部与百度联合认证考试。

loss4bartender的博客 691

Hadoop(四)MapReduce

Hadoop(四)MapReduce

ks_1998的博客 3191

logisim实验六:MIPS运算器设计

实验目的 学生理解算术逻辑运算单元(ALU)的基本构成,掌握 Logisim 中各种运算组件的使用方法,熟悉多路选择器的使用,能利用前述实验完成的 32 位加法器、 Logisim 中的运算组件构造指定规格的 ALU 单元。 设计要求 利用前面实验封装好的 32 位加法器以及 logisim 平台中现有运算部件构建一个 32 位算术逻辑运算单元(禁用 Logisim 系统自带的加法器,减法器),可支持算术加、减、乘、除,逻辑与、或、非、异或运算、逻辑左移、逻辑右移、算术右移运算,支持常用程序状态标志(有符号

gyp0205的博客 2万+

Arm A-profile架构RAS系统设计:可靠性、可用性与可服务性解析

在计算机体系结构中,可靠性(Reliability)、可用性(Availability)和可服务性(Serviceability)是构建高可信系统的核心要素。RAS系统通过硬件错误检测、隔离和恢复机制,确保系统持续稳定运行。其技术原理包括ECC内存纠错、冗余执行单元和错误传播阻断等关键技术,可显著降低数据中心等关键业务场景的故障率。现代芯片设计中,Arm A-profile架构提供标准化的RAS框架,涵盖从内存子系统到计算单元的全方位错误管理。通过分层防御策略和统一错误记录格式,实现硬件错误可追溯、可修复。

weixin_30920853的博客 358
下一篇: Hadoop系列之五:MapReduce进阶(2)
magedu_Linux
博客等级 码龄11年 16粉丝 11原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值