spark程序读写protobuf格式数据（java语言）

最新推荐文章于 2025-05-27 18:57:43 发布

原创

最新推荐文章于 2025-05-27 18:57:43 发布 · 9.6k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#spark #java #protobuf

本文介绍了如何在Spark1.5.0环境中，利用protobuf替代JSON进行数据序列化和存储，以提高性能和节省空间。通过编写.proto文件定义数据结构，并使用protoc工具生成Java类，实现了从Java对象到protobuf二进制数组的转换，以及从HDFS读取二进制数据还原为Java对象的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在spark上，用protobuf替代json格式作为数据序列化存储

谷歌的protobuf一般用来将复杂数据结构序列化为二进制数组，非常适合网络传输等领域，其效率和空间占用都优于json格式。

这一次，我在用spark做建模时，打算使用protobuf替换原json格式数据，以获得性能提升。在此记录下实现方式，以及如何避过我遇到的坑。

我的环境是spark1.5.0 + java7 + protobuf2.5。

首先，要编写.proto文件以描述数据结构。这里不详细解释，有兴趣的可参见别人写的:
http://www.cnblogs.com/dkblog/archive/2012/03/27/2419010.html

这里放一个proto文件的例子：

// protobufTest.proto
syntax = "proto2";
option java_package = "com.ismartv.recommendv2.test";
option java_outer_classname = "PersonEntity";//生成的数据访问类的类名  
message Person {  
  required string sn = 1;