牛逸凡的博客

一、问题描述下面给出一个child-parent的表格，要求挖掘其中的父子辈关系，给出祖孙辈关系的表格。输入文件内容如下:child parentSteven LucySteven JackJone LucyJone JackLucy MaryLucy FrankJack AliceJack JesseD...

一、MapJoin-DistributedCache 应用      1、mapreduce join 介绍在各种实际业务场景中，按照某个关键字对两份数据进行连接是非常常见的。如果两份数据 都比较小，那么可以直接在内存中完成连接。如果是大数据量的呢？ 显然，在内存中进行连 接会发生 OOM。 MapReduce 可以用来解决大数据量的链接MapReduce 的 Join 操作主要分两类： Ma...

一、mapreduce多job串联   1、需求   一个稍复杂点的处理逻辑往往需要多个 mapreduce 程序串联处理，多 job 的串联可以借助 mapreduce 框架的 JobControl 实现   2、实例以下有两个 MapReduce 任务，分别是 Flow 的 SumMR 和 SortMR，其中有依赖关系： SumMR 的输出是 SortMR 的输入，所以 SortMR 的启...

mapreduce三大组件：Combiner\Sort\Partitioner 默认组件：排序，分区（不设置，系统有默认值）一、mapreduce中的Combiner    1、什么是combinerCombiner 是 MapReduce 程序中 Mapper 和 Reducer 之外的一种组件，它的作用是在 maptask 之后给 maptask 的结果进行局部汇总，以减轻 reducet...

一、mapreduce入门  1、什么是mapreduce     首先让我们来重温一下 hadoop 的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN： hadoop 的资源调度系统Common： 以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等Mapreduce 是一个分布式运算程序的编程框架，是用户开发“基于 hadoop 的数据分析 应用”...

MapReduce框架作为Hadoop发展初期的核心计算框架，为大数据处理技术飞速演进提供了基石。在Hadoop生态圈中，MapReduce框架由于其成熟稳定的性能，仍然是离线批处理技术的主力。以我们的北京移动大数据集群为例，Hive、SparkSQL是支撑探索性数据查询的主要工具，其简单易懂的SQL语句查询，可以使具备基础数据库管理能力的人员轻松上手，完美地支撑了实时数据查询需求。在我最...

1.map和reduce1.1 mapReduce处理逻辑在本系列文章的第一篇中，曾对MapReduce原理做过简单的描述，在这里再重述一遍。 首先我们有两个文件word1.txt和word2.txt 其中word1.txt的内容如下：aaaabbbbccccddddaaaaword2.txt的内容如下：aaaaccccddddeeeeaaaa这...

前言上一篇文章，以WordCount为例讲了一下MapReduce的代码结构及运行机制，这篇文章将通过几个简单的例子进一步认识MapReduce。1.数据检索问题描述假设有很多条数据，我们从中查找包含某个字符串的语句。解决方案这个问题比较简单，首先在Map中获取当前读取的文件的文件名作为key,将要解析的数据按句号分割，逐句判断，如果包含指定的字符串则作为value输出。在...

1.MapReduce 编程模型的5个步骤：　　1）迭代，将输入数据解析成 key/value 对；　　2）将解析的 key/value经过Map处理映射成另一组key/value对；　　3）根据key进行分组；　　4）以分组为单位进行归约（Reduce 过程）；　　5）迭代，输出最终结果。2.MapReduce编程模型模板：　　在进行编程过程只需改变Map（）和Red...

一. MapReduce 编程模型还是以一个经典的图片来说明问题.1. 首先, 我们能确定我们有一份输入, 而且他的数据量会很大2. 通过split之后, 他变成了若干的分片, 每个分片交给一个Map处理3. map处理完后, tasktracker会把数据进行复制和排序, 然后通过输出的key 和value进行 partition的划分, 并把partition相同的map输...

一.MapReduce应用场景MR能解决什么问题？一般来说，用的最多的应该是日志分析，海量数据排序处理。最近一段时间公司用MR来解决大量日志的离线并行分析问题。二.MapReduce机制对于不熟悉MR工作原理的同学，推荐大家先去看一篇博文：https://blog.youkuaiyun.com/weixin_42685589/article/details/81029931三.常用计算模型...

一、问题描述三个文件中分别存储了学生的语文、数学和英语成绩，输出每个学生的平均分。数据格式如下： Chinese.txt张三 78李四 89王五 96赵六 67Math.txt张三 88李四 99王五 66赵六 77English.txt张三 80李四 82王五 84赵六 ...

一、问题描述文件中存储了商品id和商品价格的信息，文件中每行2列，第一列文本类型代表商品id，第二列为double类型代表商品价格。数据格式如下:pid0 334589.41pid1 663306.49pid2 499226.8pid3 130618.22pid4 513708.8pid5 723470.7pid6 998579.14pid7 831682.84pid8 ...

一、问题描述对输入的多个文件进行合并，并剔除其中重复的内容，去重后的内容输出到一个文件中。file1.txt中的内容:20150101 x20150102 y20150103 x20150104 yfile2.txt中的内容:20150105 z20150106 x20150101 y20150102...

一、shuffle机制   1、概述（1）MapReduce 中， map 阶段处理的数据如何传递给 reduce 阶段，是 MapReduce 框架中最关键的一个流程，这个流程就叫 Shuffle；（2）Shuffle: 数据混洗 ——（核心机制：数据分区，排序，缓存）；（3） 具体来说：就是将 maptask 输出的处理结果数据，分发给 reducetask，并在分发的过程 中，对数据按 ...