Hadoop SequenceFile

最新推荐文章于 2021-02-13 09:58:38 发布

zuochanxiaoheshang

最新推荐文章于 2021-02-13 09:58:38 发布

阅读量2.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop随笔文章标签： hadoop mapreduce

本文链接：https://blog.youkuaiyun.com/zuochanxiaoheshang/article/details/11541543

Hadoop随笔专栏收录该内容

52 篇文章

订阅专栏

本文深入解析了SequenceFile的组成结构，包括头信息、压缩方式等，并详细阐述了记录压缩与块压缩两种压缩方式的具体实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SequenceFile格式：

每一个SequenceFile都包含一个“头”（header)。Header包含了以下几部分。

1.SEQ三个字母的byte数组

2.Version number的byte，目前为数字3的byte

3.Key和Value的类名

4.压缩相关的信息

5.其他用户定义的元数据

6.同步标记，sync marker

对于每一条记录（K-V），其内部格式根据是否压缩而不同。SequenceFile的压缩方式有两种，“记录压缩”（record compression）和“块压缩”（block compression）。如果是记录压缩，则只压缩Value的值。如果是块压缩，则将多条记录一并压缩，包括Key和Value。具体格式如下面两图所示：