Protobuf与Avro的序列化性能测试

最新推荐文章于 2025-06-16 10:02:03 发布

竖琴手

最新推荐文章于 2025-06-16 10:02:03 发布

阅读量4.1k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： hadoop 大数据文章标签：性能测试 Protobuf Avro

本文链接：https://blog.youkuaiyun.com/strangerzz/article/details/77509471

本文对比了Avro与Protobuf在性能上的差异，包括生成文件和序列化但不生成文件两个测试场景。测试结果显示，Protobuf在速度上比Avro快2~4倍。Avro在不生成文件时表现更慢，可能与其处理方式有关，而Protobuf的不同接入方法也影响了效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Avro与Protobuf性能对比

所用Schema

Avro所用Schema

{"namespace": "test.avro",
 "type": "record",
 "name": "User",
 "fields": [
     {"name": "i", "type": ["int","null"]},
     {"name": "l",  "type": ["long", "null"]},
     {"name": "s", "type": ["string", "null"]},
     {"name":"b","type":["boolean","null"]}
 ]
}

Protobuf所用Schema

message SomeData {
optional int32 i = 1;
optional int64 l = 2;
optional string s = 3;
optional bool b=4;

}

写出的数据:

{
    "i" : random,
    "l" : random,
    "s" : "never",
    "b" : random
}

测试对象:

用protoc将 Protobuf Schema编译成java类来进行操作
用DynamicMessage动态生成所需的数据结构来进行 Protobuf 的序列化操作
用GenericMessage根据Avro的定义文件解析出来的Schema进行操作
用GenericMessage根据动态生成的Schema进行操作

最低0.47元/天解锁文章

200万优质内容无限畅学