python读写protobuf

最新推荐文章于 2024-07-26 16:08:58 发布

原创最新推荐文章于 2024-07-26 16:08:58 发布 · 6.8k 阅读

2 ·

CC 4.0 BY-SA版权

Python 专栏收录该内容

39 篇文章

订阅专栏

本文介绍了如何在Python中使用Protobuf进行结构数据的序列化和反序列化。包括使用.proto文件生成Python模块，创建Protobuf消息实例，序列化为二进制字符串，并解析回原始数据结构。

之前好像写过一个protobuf在C++代码中的使用，这里再补充一下protobuf在python中使用，protobuf序列化结构数据非常方便。

首先是使用.proto文件生成protobuf的python语言对应的模块。

.proto文件内容,文件名： entity.proto

message entity_item
{
    required int32 attr_id = 1;   // 属性类型标识，编号1
    required bytes attribute = 2;   // 属性类型描述，编号2，bytes是字符串
    repeated bytes value = 3;       // 属性值3，repeated在photobuf里是是一个数组列表list结构，可以添加新内容，
};

message entity_desc
{
    required int32 entity_id = 1;         // 实体类型标识1,
    required bytes entity_name = 2;       // 实体名称，2
    repeated entity_attr attributes = 3; // 属性描述3，列表数组格式，内容为entity_attr。
};

protoc --python_out=./ ./entity.proto

得到 entity_pb2.py

然后就是在自已的python中读写protobuf生成的proto结构

test_pb.py

01 # coding: gbk

02 import entity_pb2

03 entitydesc= entity_pb2.entity_desc()

04 entitydesc.entity_id=1

05 entitydesc.entity_name='haha'

07 #create proto

08 entityattr=entitydesc.attributes.add() #嵌套message

09 entityattr.attr_id = 11

10 entityattr.attribute = '标题'.decode('gbk').encode('utf-8')

11 entityattr.value.append("title adfadf")

13 entity_attr_str=entityattr.SerializeToString()

14 print entity_attr_str

15 entitydesc_str=entitydesc.SerializeToString()

16 print entitydesc_str

17 print '----'

18 #read

19 entityattr2 = entity_pb2.entity_attr()

20 entityattr2.ParseFromString(entity_attr_str)

21 print entityattr2.attr_id

22 print entityattr2.attribute.decode('utf-8').encode('gbk')

23 for i in entityattr2.value:

24 print i

26 print '----'

27 entitydesc2= entity_pb2.entity_desc()

28 entitydesc2.ParseFromString(entitydesc_str)

29 print entitydesc2.entity_id

30 #repeated entity_attr attributes，由于是repeated需要遍历

31 for oneatt in entitydesc2.attributes:

32 print oneatt.attr_id

33 for i in oneatt.value:

34 print i

protobuf中使用 SerializeToString() 方法可以得结构数据放在string的二进制流。我们可以把这个二进制流通过网络发送，或者将其写入文件系统。实际上protobuf是一种对结构数据序列化的方法。使数据可以在网络中传输和保存在文件中。并且支持多种语言，官方所给的有python,java,C++,但其他语言也有开发者自已写的对protobuf的支持，比如Erlang就有一个第三方写的工具：

Erlang版下载地址： https://github.com/ngerakines/erlang_protobuffs/tree/master

Erlang版参考文章： http://blog.youkuaiyun.com/mycwq/article/details/21864191

Erlang版参考demo： http://download.youkuaiyun.com/detail/cwqcwk1/7087293