【Hadoop】Avro源码分析（二）：反序列化之Generic

原创已于 2023-06-01 11:02:32 修改 · 3.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #java #大数据

于 2015-10-10 22:17:25 首次发布

大数据见微专栏收录该内容

39 篇文章 ¥19.90 ¥99.00

订阅专栏

本文详细介绍了Hadoop中Avro文件的反序列化过程，包括DataFileReader和DataFileStream的类图继承，Header与Data Block的读取。在DataFileStream的initialize()方法中初始化Header，Data Block读取则由GenericDatumReader负责，通过ResolvingDecoder进行解码操作。

本文着重研究avro反序列化的Generic方式，先从下面这段读取avro文件（反序列化）的代码开始讲起。

File file = new File("e://twitter.avro");
DatumReader<GenericRecord> datumReader = new GenericDatumReader<GenericRecord>();
DataFileReader<GenericRecord> dataFileReader = new DataFileReader<GenericRecord>(file, datumReader);
GenericRecord datum = null;
while(dataFileReader.hasNext()) {
  datum = dataFileReader.next(datum);
  System.out.println(datum);
}

1. 文件读取

类图继承

DataFileReader是继承DataFileStream实现FileReader接口，

public class DataFileReader<D>
  extends DataFileStream<D> implements FileReader<D>

类图如下：

了解本专栏