MapReduce关于key的定义、hashCode()、equals(Object obj)、compareTo(CustomCombineKey other)

最新推荐文章于 2022-07-27 13:47:39 发布
原创 最新推荐文章于 2022-07-27 13:47:39 发布 · 765 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了MapReduce中自定义mapout和reduceinput的key的实现方式，需实现WritableComparable接口并重写三个核心方法及hashCode和equals方法。阐述了在数据溢出到磁盘时，MapReduce如何调用compareTo方法进行快速排序。

1. mapreduce中自定义mapout、reduceinput的key

key需实现WritableComparable<KEY> 接口

1.1 重写下面的三个方法

1.2 重写hashCode()和equals(Object obj)

2. mapreduce何时调用hashCode()、equals(Object obj)、compareTo(CustomCombineKey other)

2.1 compareTo(CustomCombineKey other)

spill（溢出）到磁盘时，会先进行一次快排，此时调用key的compareTo方法。

MapReduce的key是怎么生成的，字节长度+1为当前行的key
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
12-01 592
String s2 = "On the top of the Crumpetty Tree"; System.out.println(s2.getBytes().length);//32 String s3 = "The Quangle Wangle sat,"; System.out.println(s3.getBytes(...
MapReduce-三次排序-曾经想不通的二次排序
Qi.zheng
12-22 5758
上一篇博客说明了怎么自定义Key，而且用了二次排序的例子来做测试，但没有详细的说明二次排序，这一篇说详细的说明二次排序， 为了说明曾经一个思想的误区，特地做了一个3个字段的二次排序来说明。后面称其为“三次排序”。 测试数据： a1,b2,c5 a4,b1,c3 a1,b2,c4 a2,b2,c4 a2,b1,c4 a4,b1,c2 测试目的：输出以下结果首先根据第一个自段排序，如
自定义实现Mapreduce计算的key类型
bear
04-09 5660
1. 在进行mapreduce编程时key键往往用于分组或排序，当我们在进行这些操作时Hadoop内置的key键数据类型不能满足需求时， 或针对用例优化自定义数据类型可能执行的更好。因此可以通过实现org.apache.hadoop.io.WritableComparable接口定义一个 自定义的WritableComparable类型，并使其作为mapreduce计算的key类型。
MapReduce（二）
diyingshou8608的博客
06-26 170
MapReduce（二）mapreduce 将Text转化为对象进行处理数据。根据一来说，将date，classname，name，subject，score变为对象属性我的数据是：是有重复的。package com.huhu.day02; import java....
MapReduce1，HashCode
ZZJXP的博客
03-25 2532
Java基本类型 Writable 序列化大小(字节) 布尔型（boolean） BooleanWritable 1 字节型（byte） ByteWritable 1 整型（int） IntWritable 4 VIntWritable ...
MapReduce编程学习笔记（三）—mapreduce对key值排序问题
weixin_30922589的博客
09-30 327
　　最近在学习MapReduce编程遇到很多用MR实现按某一列值排序，或二次排序的类似问题，于是试着用MR实现各种排序问题，最终有点小总结：无需在key对象之外写任何排序函数，MR会完成按key值排序，具体详解如下： 　　在这之前要先说一下WritableComparable接口。Writable接口大家可能都知道，它是一个实现了序列化协议的序列化对象。在Hadoop中定义一个结构化对...
头歌答案 Mapreduce自定义分组
最新发布
11-01
头歌平台上关于MapReduce自定义分组的实现一般需要继承`Partitioner`类来改写数据分发逻辑，同时可以自定义分组比较器。以下是一个示例代码，结合之前引用信息，展示如何实现自定义分组： ```java import org....
MapReduce：序列化WritableComparable接口与WritableComparator比较器、组合键、二次排序
Jodness' Blogs
05-28 1799
目录 序列化 WritableComparable接口 Writable接口 Comparable接口 WritableComparator比较器 自定义Writable类(组合键)实现二排 序列化 序列化：将结构化对象转化为字节流以便在网络上传输或写到磁盘进行存储的过程 反序列化：将字节流转回结构化对象的逆过程 序列化用于分布式数据处理的两大领域：进程间通信和永久存储 在h...
Mapreduce二次排序实例
Tyshawn的博客
08-21 1011
Mapreduce可以简单的分为三个阶段：map阶段、shuffle阶段、reduce阶段。shuffle阶段包括分区、分组两个步骤，二次排序发生在分区步骤。 分区：通过分区函数将满足条件的分在同一个区（第一次排序）。同一个区的数据然后再排序（第二次排序）。分区是对key进行操作。 分组：将相同key值的value整合成一个集合（） 实例：有一张phone表，包含mac、time
MapReduce排序之 二次排序
lavimer
01-18 2053
一：背景 Hadoop中虽然有自动排序和分组，由于自带的排序是按照Key进行排序的，有些时候，我们希望同时对Key和Value进行排序。自带的排序功能就无法满足我们了，还好Hadoop提供了一些组件可以让开发人员进行二次排序。 二：技术实现 我们先来看案例需求 #需求1： 首先按照第一列数字升序排列，当第一列数字相同时，第二列数字也升序排列(列之间用制表符\t隔开) 3 3 3
Hadoop中MapReduce基本案例及代码（三）
01-20
分区Partitioner 分区操作是shuffle操作中的一个重要过程，作用就是将map的结果按照规则分发到不同reduce中进行处理，从而按照分区得到多个输出结果。 Partitioner是partitioner的基类，如果需要定制partitioner也需要继承该类HashPartitioner是mapreduce的默认partitioner。 计算方法是：which reducer=(key.hashCode() & Integer.MAX_VALUE) % numReduceTasks 注：默认情况下，reduceTask数量为1 很多时候MR自带的分区规则并不能满足我们需求，为了实
MapReduce中自定义数据类型作为key
追梦程序员的博客
05-07 4178
    在MapReduce编程模型中key通常是用来排序和划分的。排序是指按照key的大小顺序将 &lt;k,v&gt; 键值对排序，划分是指按照key的hashcode值将 &lt;k,v&gt;划分到指定的Reducer节点上。    MapReduce中的key类型必须实现WritableComparable接口，为了方便用户使用，Hadoop提供有一些内置的key类型。常见的key类型有...
mapreduce 比较接口
wisgood的专栏
11-25 1983
Comparator和Comparable是Jdk中用来实现比较操作的两个常用接口。 Comparator，用来比较两个对象是否相等，属于双目运算的，比较方法为compare(T o1, T o2),例如 Comparator.compare(a,b) Comparable，用来一个对象与另一个对象比较，属于单目运算的方法，比较方法为compareTo(T o)，例如a.compareTo(b
MapReduce案例：实现用户总流量倒序———compareTo方法
ZYN的博客
07-19 1105
在用户总流量分析中我们成功得到了数据如下： 13480253104 180 180 360 13502468823 7335 110349 117684 13560439658 2034 5892 7926 13600217502 1080 186852 187932 13602846565 1938 2910 4848 13660577991 6960 690 7650 13719199419 240 0 240 13726230503 2481 24681 27162 13760778710 120 1
MapReduce-自定义比较器
Qi.zheng
12-23 2995
接着上一篇MapReduce-三次排序-曾经想不通的二次排序把其实例的需求改变一下，来说明如何定制GroupingComparatorClass和SortComparatorClass 下面就完成这篇博客要完成的问题 测试数据如下： id,name,cost 1,mr1,3234 2,mr2,123 3,mr3,9877 4,mr4,348 5,mr5,12345 6,mr6,6
MapReduce
Mason的博客
11-28 372
海量数据分流处理技术 hostname 查看系统主机名称 一、划分方法 1、传统Hash，最基本的划分方法 – 如何将大数据、流量均分到N台服务器 – 找到合理的key，hash（key）尽量分布均匀 – hash(key)mod N == 0 分到 第0台， – hash(key)mod N == i 分到 第i台 – hash(key)mod N == N-1 分到 第N-1台
MapReduce编程之求每门科目的前三名（重写student类中的compareTo方法）
qq_51903852的博客
11-03 362
stuscore.csv 1,鸿飞,语文,84 2,鹏海,语文,85 3,铭晨,语文,86 4,霑千昌,语文,87 5,智宇,语文,88 6,景彰,语文,89 7,辰铭,语文,90 8,曜灿,语文,91 9,昊苍,语文,92 10,子昂,语文,93 11,景行,语文,94 12,昆皓,语文,95 13,文昂,语文,96 14,昊苍,语文,48 15,德泽,语文,49 16,鸿远,语文,50 17,昌燎,语文,51 18,昌翰,语文,52 19,鸿振,语文,53 20,鸿卓,语文,54 21,浩初,语文,55
MapReduce（三）
JiaXingNashishua的博客
07-27 294
对于ReduceTask，它从每个MapTask上远程拷贝相应的数据文件，如果文件大小超过一定阈值，则溢写磁盘上，否则存储在内存中。应用于在接收的key为bean对象时，想让一个或几个字段相同（全部字段比较不相同）的key进入到同一个reduce方法时，可以采用分组排序。（5）Combiner能够应用的前提是不能影响最终的业务逻辑，而且，Combiner的输出kv。（4）二次排序在自定义排序过程中，如果compareTo中的判断条件为两个即为二次排序。默认排序是按照字典顺序排序，且实现该排序的方法是。...
MapReduce当中自定义对象的用法
mark_to_win的专栏
05-24 368
马克-to-win @ 马克java社区：到目前为止，我们在hadoop网络上传的变量类型都是预定义的类型比如Text或IntWritable等，但有时需要我们，自己建一个类，把预定义的简单数据类型封装在里头而且还能像预定义的类型一样在hadoop网络中传输，这样更便于管理和运作。这样就需要向下面这样implements Writable。实现write和readFields方法。思路：如果想求平...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值