protobuf使用

0 背景

先交代下背景,说明下本案例在项目中确实可以使用。
我这对外提供了一个fcat/a这样的接口,接口中对数据进行处理然后下发到fcat/b中,开始使用json传输数据,而从开始下发到fcat/b接收到的过程用了7s,针对这个耗时操作选用protobuf尝试进行优化。

1 安装protobuf编译环境

我使用的是Mac,直接使用brew安装即可

brew install protobuf
2 protobuf语法

首先,创建一个.proto的文件,里面进行我们对象的定义:

syntax = "proto3";

message SplitBean {
    float ratio = 1;
    float x = 2;
    float y = 3;
    repeated float img_arr = 4;
}

通过上面代码,进行下语法学习:

  1. 第一行 syntax = “proto3”; 用来声明protobuf的版本,目前有 proto2proto3 两个版本;
  2. message 为关键字,后面为定义的model名字,大括号中为model具体的字段;
  3. 字段定义格式为 数据类型 字段名 = 分配标识号;
    支持的数据类型有:double、float、int32、int64、uint32、uint64、sint32、sint64、fixed32、fixed64、sfixed32、sfixed64、bool、string、bytes
  4. repeated 表示该字段为数组,不过proto的似乎不支持多维数组
3 protobuf的编译

model定义完后还需要编译,使用下面命令可以完成编译

protoc proto文件路径 –python_out=输出路径
4 protobuf使用
4.1 protobuf 赋值

以上面定义的SplitBean为例

split = split_pb2.SplitBean()
split_bean.ratio = 1.0
split_bean.x = 1.0
split_bean.y = 1.0
# 这句会报错
split_bean.img_arr = arr
# 可以通过以下方式赋值
for item in arr:
	split_bean.img_arr.append(item)

protobuf里的数组直接赋值会报错,需要把每个元素add进去。
赋值完成后可以通过调用**SerializeToString()**进行传值

request_data = split_bean.SerializeToString()
 async with aiohttp.ClientSession() as session:
            async with session.post(root_url + "fcat/b/" data=request_data) as response:
4.2 protobuf取值

上面已经把protobuf放入请求中,要完成protobuf的使用,我们还需要从中取值:

data = await request.get_data()
split_bean = split_pb2.SplitBean()
split_bean.ParseFromString(data)

这样通过split_bean就可以得到我们传过来的值了

ProtobufProtocol Buffers)是一种轻量级的数据序列化格式,由Google开发。它可以用于结构化数据的序列化,用于数据通信、持久化和配置文件等场景。下面是使用protobuf的一般步骤: 1. 定义消息类型:使用protobuf语言定义文件(.proto)来描述数据结构和消息类型。你可以定义消息字段的名称、类型和规则等。 2. 编写.proto文件:在.proto文件中定义消息类型、字段和其他相关信息。例如,你可以定义消息的名称、字段的名称和类型、字段的规则(如必填、可选或重复)等。 3. 编译.proto文件:使用protobuf编译器将.proto文件编译为你所选编程语言的源代码。protobuf支持多种编程语言,如C++、Java、Python等。编译后会生成对应语言的源代码文件,其中包含与消息类型相关的类或结构体。 4. 在代码中使用protobuf:在你的代码中引入生成的源代码文件,并使用其中定义的类或结构体。你可以根据需要创建、修改和序列化protobuf消息,以及将其转换为二进制格式或其他格式。 5. 序列化和反序列化使用protobuf库提供的方法将protobuf消息序列化为二进制格式,或者将二进制数据反序列化protobuf消息。这样可以实现消息的传输和存储。 总结来说,使用protobuf可以实现跨语言、高效的数据序列化和反序列化,简化了数据传输和存储的过程。通过定义和编译.proto文件,并在代码中使用生成的源代码文件,你可以方便地使用protobuf进行数据处理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

得食猫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值