hadoop 二次排序的思考

最新推荐文章于 2024-05-12 20:29:05 发布

weixin_30951389

最新推荐文章于 2024-05-12 20:29:05 发布

阅读量112

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/jiangxiaoxian/p/9880456.html

本文探讨了Hadoop中二次排序的关键概念，包括排序Key的定义、Grouping的必要性及其实现方式，以及二次排序的本质。通过具体示例，如输出格式jx10,20 gj15,30，讨论了在不设置Grouping的情况下是否可行，以及Key能否仅设置为name等问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop 二次排序的思考

name sorce
jx 10
gj 15
jx 20
gj 30

1.  二次排序 key如何定义
2. grouping 是不是一定要实现，不实现可以吗？
3. 二次排序的本质是什么
4. 如果以下输出
jx 10,20
gj 15,30
1).可不可以不设置grouping
2).key 可不可以设置为name

待更新...

posted on 2018-10-31 00:09 姜小嫌阅读( ...) 评论( ...) 编辑收藏

转载于:https://www.cnblogs.com/jiangxiaoxian/p/9880456.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30951389

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Hadoop的二次排序的个人理解（记录六）

weixin_42522212的博客

01-14

246

（以hadoop权威指南的年份和温度为例，key是年份，value是温度。）个人理解：把key和value的值组合在一起，变成组合key，（称为ComposeKey）,再根据原先的key值，把组合key放到同一个分区，这是组合key的作用就显现了，value也会和原始key一起进入同一个分区，然后设置一个分组，使得同一年的温度在一个组里，即原始key相同的在一个分组里。（需要注意的是：同一个...

Hadoop MapReduce 深入理解！二次排序案例！

热门推荐

技术大神之路

04-11

1万+

1. MapReduce 处理的数据类型1.1 必须实现 org.apache.hadoop.io.Writable 接口。需要实现数据的序列化与反序列化，这样才能在多个节点之间传输数据！示例：public class IntWritable implements WritableComparable<IntWritable> ， public interface WritableComparab

参与评论您还未登录，请先登录后发表或查看评论

对Hadoop二次排序的理解

11-11

1万+

MR默认会对键进行排序，然而有的时候我们也有对值进行排序的需求。满足这种需求一是可以在reduce阶段排序收集过来的values，但是，如果有数量巨大的values可能就会导致内存溢出等问题，这就是二次排序应用的场景——将对值的排序也安排到MR计算过程之中，而不是单独来做。首先我们要了解java中排序的机制，在java中一切都是对象，而在我们的基本数据类型中都有本类的比较策略，这样任何

Hadoop学习四十三：MapReduce的二次排序

zy19982004的专栏

11-02

356

一.概述关于二次排序的文章，网上很多，比喻http://www.cnblogs.com/xuxm2007/archive/2011/09/03/2165805.html就写的不错。在此文基础上补充几点。二.job.setPartitionerClass在什么地方被用到 mapper里每一次write，都会调用到 collector.collect(...

MapReduce二次排序原理

a6a6a_6的博客

03-29

979

二次排序:就是首先按照第一字段排序，然后再对第一字段相同的行按照第二字段排序，注意不能破坏第一次排序的结果。在Hadoop中，默认情况下是按照key进行排序。对于同一个key，reduce函数接收到的value list是按照value 排序的。有两种方法进行二次排序，分别为：buffer and in memory sort和value-to-key conversion。对于buffer and in memory sort，主要思想是：在reduce()函数中，将某个key对应的所有val

MapReduce二次排序

火羽的博客

02-25

808

什么是二次排序在MapReduce操作时，我们传递的会按照key的大小进行排序，最后输出的结果是按照key排过序的。有的时候我们在key排序的基础上，对value也进行排序。这种需求就是二次排序。二次排序思路我们都知道在MapReduce的运行中，他会根据Key来进行排序，而二次排序，则是在经过Key排序后，将Key和需要排序的Value进行组合，形成一个新的字符然后再次进行排

MapReduce二次排序(secondary sort)实战

Drowning in stream

03-18

2341

接触过mapreduce的同学都知道，为了将key值相同的record放在一起，分配给指定reducer，shuffle阶段会按照key值排序。然而在某些情况下，我们需要同时对value排序，A同学立马提出了如下解决方案：reduce的时候，将同一个key的所有value都存在一个list中，最后再进行排序，这个方案在数据量小时没有问题，可是reducer的内存是有限的，当数据规模很大时，

Hadoop和Spark为什么要对key进行排序

Hoult丶吴邪

11-22

516

1.思考只要对hadoop中mapreduce的原理清楚的都熟知下面的整个流程运行原理，其中涉及到至少三次排序，分别是溢写快速排序，溢写归并排序，reduce拉取归并排序，而且排序是默认的，即天然排序的，那么为什么要这么做的，设计原因是什么。先给个结论，为了整体更稳定，输出满足多数需求，前者体现在不是采用hashShuffle而是sortShuffle ,后者体现在预计算，要知道排序后的数据，在后续数据使用时的会方便很多，比如体现索引的地方,如reduce拉取数据时候。 2.MapReduce原理分析

[Hadoop]二、Hadoop-HDFS

最新发布

weixin_44428807的博客

05-12

1134

随着数据量越来越大，在一个文件系统存不下所有的数据，那么就分配到更多的文件系统管理的磁盘中，但是不方便管理和维护，需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

MapReduce-三次排序-曾经想不通的二次排序

Qi.zheng

12-22

5724

上一篇博客说明了怎么自定义Key，而且用了二次排序的例子来做测试，但没有详细的说明二次排序，这一篇说详细的说明二次排序，为了说明曾经一个思想的误区，特地做了一个3个字段的二次排序来说明。后面称其为“三次排序”。测试数据： a1,b2,c5 a4,b1,c3 a1,b2,c4 a2,b2,c4 a2,b1,c4 a4,b1,c2 测试目的：输出以下结果首先根据第一个自段排序，如

Hadoop MapReduce 二次排序原理及其应用

我爱大海V5的专栏

12-13

1011

目录[-] 1、首先说一下工作原理： 2、二次排序 3、具体步骤： 1 自定义key。 2 由于key是自定义的，所以还需要自定义一下类： 4 代码： 5 测试需求： 6 测试数据与结果： 7 原理图（点击查看大图）： 8、推荐阅读： 9、REF: 关于二次排序主要涉及到这么几个东西：在0.20.0 以前使用的是 setPar

MapReduce 二次排序详解

weixin_33892359的博客

08-06

173

1 首先说一下工作原理：在map阶段，使用job.setInputFormatClass定义的InputFormat将输入的数据集分割成小数据块splites，同时InputFormat提供一个RecordReder的实现。本例子中使用的是TextInputFormat，他提供的RecordReder会将文本的一行的行号作为key，这一行的文本作为...

mapreduce二次排序详解

hellojoy的博客

10-22

2612

mapreduce二次排序详解 - linzch3 - 博客园什么是二次排序待排序的数据具有多个字段，首先对第一个字段排序，再对第一字段相同的行按照第二字段排序，第二次排序不破坏第一次排序的结果，这个过程就称为二次排序。如何在mapreduce中实现二次排序 mapreduce的工作原理 MR的工作原理如下图（如果看不清可右键新标签页查看）：图片部分数据参考自：Hadoop — MapReduce原理解析相关重点：分区（partitioning）：使得具有相同Key值的键值.

MapReduce实现二次排序（九）

RivenDong

09-17

1540

文章目录1. 前言2. 需求分析3. 二次排序的实现原理4. 上传文件5. 代码实现6. 效果截图 1. 前言默认情况下， Map会对key自动进行排序，但是有时候需要对key排序的同时还需要对value进行排序，这就是所谓的二次排序。 2. 需求分析假设现在有如下数据：每行两列，列与列之间的分隔符是制表符（”\t“），输出的结果先按照第一个字段的升序排列，如果第一列的值相等，在按照第二个...

Mapreduce全局排序，二次排序，局部排序笔记

qq_43693176的博客

10-12

207

mapreduce 二次排序的两种方法

zzd007的博客

07-21

887

什么是二次排序？现在有一个文件secondrysort_in.txt, 20 21 50 51 50 52 50 53 60 51 60 53 60 52 70 55 7 8 现在你对文件进行排序，按照第一个数从小到大排列，若果第一个数相同，则按照第二个数从小到大排列。输出文件secondrysort_out 7 8 20 21 50 51 5

Hadoop二次排序深度解析：原理与实战

"了解hadoop二次排序的原理和实现方法，包括Map阶段、分区与排序、Reduce阶段的关键步骤，以及如何自定义比较器和分组器。" 在分布式计算框架Hadoop中，一次排序指的是默认的MapReduce过程，即在Map阶段按照Key进行...