本文深入解析了Hadoop中的Shuffle过程，它是MapReduce中连接Map和Reduce阶段的关键步骤。同时，详细介绍了hadoop环形缓冲区的工作原理，包括其作为数据存储与分隔的角色。环形缓冲区是一个数组，存储key-value数据及其元数据，使用equator进行区分，key-value数据顺时针存储，元数据逆时针存储。文中还提及了一个生动的视频资源，帮助读者更好地理解这一概念。
声明：转载自小C哈哈哈
一 概念
1. 什么是Shuffle过程？
- Shuffle过程是指Map方法之后，Reduce方法之前的数据处理过程。
2.什么是hadoop环形缓冲区？
hadoop的环形缓冲区其实只是一个简单的buffer，在这里是一个缓存数组（byte），默认大小是100M，源码如下：
3.什么是equator（赤道）？
最初的时候，equator在数组的最前端，可以将数组想象为环形，首尾相接，此时，equator就既在数组的开头，又在数组的结尾
二 环形缓冲区原理
环形缓冲区其实是一个数组，数组中存放着key和value的数据，以及关于key和value的元数据信息，key/value的元数据存储的格式是int类型，每个key/value对应一个元数据，元数据由4个int组成，第一个int存放value的起始位置，第二个int存放key的起始位置，第三个int存放partition，第四个int存放value的长度。
key/value数据和元数据在环形缓冲区中的存储是由equator分隔的，key/value按照索引递增的方向存储，元数据则按照索引递减的方向存储，将数组抽象为一个环形结构之后，以equator为界，key/value顺时针存储，元数据逆时针存储。
在B站上看到了一个形象的视频，于是将其做成动图展示出来，感谢up主：此视频的链接是：https://www.bilibili.com/video/BV1pJ411H7m7
扫一扫
2526
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
