protocolbuffer(pb)与json格式对比性能差异

最新推荐文章于 2025-06-02 13:58:06 发布
最新推荐文章于 2025-06-02 13:58:06 发布
阅读量5.4k 收藏 4
点赞数 1
CC 4.0 BY-SA版权
文章标签： 数据结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/axelboss/article/details/105434777
本文对比了PB（Protocol Buffers）与JSON在不同场景和数据结构下的解析速度，指出当数据主要包含double类型时，PB能显著提升速度。通过Java测试环境下的对比，展示了PB在二进制数据处理上的优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

今天发现腾讯的某个开源游戏项目中采用的是pb格式的数据作为通信传输
于是大概查找了一下pb的特性和相关用法，是这样描述比较的

在这里插入图片描述

——————————————————————————————————
下两图描述了在java测试环境下json和pb在不同场景和数据结构下的速度
Jackson为java通用解析json工具
Jsoniter为优化过的json解析工具
Protobuf为protocolbuffer协议处理速度
(参考链接 https://www.sohu.com/a/136487507_505779)
在这里插入图片描述在这里插入图片描述

结合以上得知在数据中主要为double时，采用二进制protocolbuffer格式可明显提高解析速度；其他情况下json和protobuf差距不大。

axelboss
关注
2、构建 JSON/HTTP 服务与使用 Protocol Buffers 进行数据结构化
a0b1c2d3的专栏
07-13 5
本文介绍了如何构建 JSON/HTTP 服务以及使用 Protocol Buffers 进行数据结构化。通过 Go 语言实现了一个简单的提交日志服务，并探讨了 Protobuf 在分布式系统中的优势，包括类型安全、版本控制、高性能等。同时，还展示了如何结合 Protobuf 和 gRPC 构建高效的远程过程调用服务。
Golang 与 Protocol Buffers：如何提升数据传输性能
Golang编程笔记的博客
04-30 1273
在分布式系统、微服务架构及物联网应用中，数据在不同服务节点间的高效传输是系统性能的核心瓶颈之一。传统文本格式（如JSON、XML）因冗余字段、解析开销大等问题，难以满足高并发、低延迟场景的需求。本文聚焦Golang与Protocol Buffers的技术组合，系统讲解如何通过二进制序列化协议与高效编程语言的结合，实现数据传输在吞吐量、延迟、内存占用三个维度的性能提升。内容覆盖基础原理、核心算法、实战案例及性能优化策略，适用于从技术选型到落地实现的全流程参考。核心概念。
PB解析和生成JSON
10-15
PB解析和生成JSON，解析JSON是否成功，生成默认JSON。
json和pb的比较
QingTC
11-03 877
在数据序列化和通信领域，指的是用于定义数据结构的或。它描述了数据的，并在数据验证和解释上发挥重要作用。常见的 schema 格式包括 Protocol Buffers (proto)、JSON Schema、XML Schema 等。Protocol Buffers（简称 proto）和 JSON 都是用于数据交换的格式，但在 schema 的强度和类型系统上有一些关键差异，使得 proto 在某些方面比 JSON 更具优势。
在PowerBuilder中实现RESTful服务调用与JSON解析
weixin_42627459的博客
06-02 900
随着互联网技术的不断演进，RESTful Web Service作为一项新兴技术，正逐渐成为Web服务开发的主流。它的出现，给Web应用带来了简单、灵活和可扩展的新特性。RESTful API基于HTTP协议，利用通用的方法（GET、POST、PUT、DELETE等）实现了客户端与服务器端之间的无缝交互。SailJson库是一个专为PowerBuilder设计的开源JSON处理库，它提供了一套丰富的API来处理JSON数据，包括JSON字符串的解析、生成、序列化与反序列化等功能。
pb，json，二进制，xml数据对比
yizhiniu_xuyw的专栏
09-27 842
1. 数据大小对比 大多是整数和浮点型的数据，pb比二进制大小减少30% 2.序列化和反序列化对比 参考：Protobuf 有没有比 JSON 快 5 倍？-InfoQ 序列化方案选型对比 - JSON/ProtocolBuffer/FlatBuffer/DIMBIN - 阿里云技术博客的个人空间 - OSCHINA - 中文开源技术交流社区 ...
对比ProtoBuf和JSON的序列化和反序列化能力
终为nullptr
12-03 1878
对比ProtoBuf和JSON的序列化和反序列化能力
PB vs XML vs JSON
04-13 908
参考  http://www.cnblogs.com/zhubo/archive/2011/07/06/json_and_protocolbuffers.html
Grpc+protocol buffer使用学习
MatChen的博客
12-15 1965
An introduction to gRPC and protocol buffers. GRPC和协议缓冲区： gRPC可以使用协议缓冲区作为它的接口定义语言(IDL)和它的底层消息交换格式。 个人理解：一种交互协议，主要实现数据的传输，体积小，更加便捷，高效，由google公司开发的proto协议缓冲区，支持多种语言开发和生成。 一， GRPC概述 在gRPC中，客户机应用程序可以直接调用另一台机器上的服务器应用程序上的方法，就好像它是本地对象一样，这使您更容易创建分布式应用程序和服务。 正如在许多R
【数据格式之争】：Protobuf与JSON，谁更适合你的项目？
[【数据格式之争】：Protobuf与JSON，谁更适合你的项目？](https://www.python4data.science/en/latest/_images/social_previews/summary_data-processing_serialisation-formats_protobuf_f81410b2.png) # 1. 数据...
protocol buffers简介
yhc166188的博客
04-25 873
1.简介ProtocolBuffer(PB) 是一种轻便高效的结构化数据存储格式，可以用于结构化数据的序列化。类似xml和json，但PB比前两者更高效和省空间，在移动开发中更为用户省流量。PB如何做到更省流量的？ 这得从它的编码方式来看，PB采用Zigzag 编码并充分利用Varint技术，从而实现二级制级的空间节省。编译protobuf：protoc.exe  -I .\protobuf  -...
pb解析与生成json
11-15
外国人用pb9.0开发的pb生成与解析json的例子，有源码，可以直接使用很清晰明了。
PB读写JSON格式数据
07-17
PB写的对JSON数据格式的控制，解决WEB上rest接口问题
Protobuffer和json深度对比
08-02
NULL 博文链接：https://cxshun.iteye.com/blog/1974498
pb解析json工具
11-01
pb解析json工具，json为目前流行数据格式，pb作为使用相对不广的变成语言，也是需要适应的。
Pbjson字符串生成与解析
05-18
PBJson用于解析和生成Json结构的字符串，没有涉及Json嵌套字符串情况
大数据实战：你还在只用json协议吗？试试高效的pb协议吧！
小吴同学的博客
12-27 1654
Protocol Buffers（简称PB）是一种轻量级、高效的数据序列化协议，由Google开发。它可以用于结构化数据的存储、通信和跨语言传输。PB协议的特点a. 简洁高效: PB使用二进制编码，相比于文本格式的数据序列化协议，PB在数据存储和传输方面更高效、更紧凑。b. 跨语言支持: PB定义数据结构的.proto文件可以通过编译器生成多种编程语言的代码，支持跨语言的数据传输和解析。c. 可扩展性: PB支持向前和向后兼容性，可以在不破坏现有功能的情况下扩展或修改数据结构。
数据的表示形式比较：XML、JSON、PB(Protocol Buffers)
12-19 2163
XML（http://www.w3.org/XML/），表示的数据可读性好，发展成熟，有很多的解析器。JAXP支持XML解析，JAXB支持XML与JAVA的绑定。使用开源的Castor完成XML-JAVA的绑定也很方便。XML可以不需要schema，在一定程度上是自描述的。JSON（http://www.json.org/json-zh.html），结构简单，具有较好的可读性，发展比较成熟，最
JSON与protocol buffer效率比较
我用CV我自豪。
10-09 1911
https://blog.youkuaiyun.com/sudaobo/article/details/5439994 对于较多信息的存储和较大文件，protocol buffer的写入和解析效率明显高很多。但是JSON格式的可读性明显要好。 JSON 总共写65535条Data记录到文件中，测试结果如下： 生成的文件尺寸是23,733k。 生成文件的时间是12.80秒。 从该文件中解析的时间是1...
TF文件夹中 .PB是干什么的
最新发布
07-21
<think>我们被要求解释TensorFlow文件夹中.PB文件的作用。根据引用内容，我们可以总结如下： 1. **.pb文件是什么？** - .pb文件是TensorFlow中使用的一种模型文件格式，全称为Protocol Buffer（协议缓冲区）格式。它通常用于保存训练好的模型，包括模型的结构（计算图）和权重参数。 2. **.pb文件的作用** - **模型保存**：在训练完成后，我们可以将模型保存为.pb文件。这样可以将整个模型（包括计算图和权重）序列化为一个单独的文件，便于分享和部署。 - **模型加载**：保存的.pb文件可以被加载到TensorFlow环境中，用于后续的推理（inference）或迁移学习（transfer learning）。 - **模型优化**：.pb文件可以经过优化（如使用TensorFlow提供的优化器）以提高推理速度或减少模型大小。 - **模型转换**：.pb文件可以转换为其他格式（如ONNX），以便在其他框架中使用。 3. **如何生成.pb文件？** - 根据引用[2]和[3]，生成.pb文件的关键步骤是使用`graph_util.convert_variables_to_constants`函数将模型中的变量（如权重）转换为常量（即冻结权重），然后序列化为.pb文件。这样做的好处是模型的所有参数都内嵌在计算图中，无需额外的检查点文件（.ckpt）。 4. **.pb文件与.ckpt文件的区别** - .ckpt文件保存的是模型的变量值，需要配合模型结构（通常由代码定义）才能恢复模型。而.pb文件将模型结构和权重合并在一起，形成一个独立的文件，便于部署。 5. **迁移学习中的应用** - 引用[3]提到，在迁移学习中，我们可以将预训练模型保存为.pb文件，然后加载该文件进行微调（finetune）。但需要注意的是，加载.pb文件进行微调时，需要将模型中的可训练变量（trainable variables）全部恢复，并按照变量名一一赋值。 6. **跨框架转换** - 引用[4]提到，我们可以将PyTorch训练的模型（.pth）转换为TensorFlow的.pb文件，这通常通过ONNX等中间格式实现。 因此，.pb文件在TensorFlow中是一个重要的模型保存格式，主要用于模型的部署和跨平台使用。 下面，我们将按照要求组织答案，包括使用LaTeX格式（如果有数学公式）和生成相关问题。</think>TensorFlow 中的 `.pb` 文件（Protocol Buffer 格式）是 TensorFlow 模型的**标准化序列化格式**，主要作用如下： ### 1. 模型固化与部署 - **冻结模型**：将训练好的模型权重（Variables）和计算图（Graph）合并为单一文件，消除训练依赖 $$ \text{计算图} + \text{权重参数} \xrightarrow{\text{冻结}} \text{.pb 文件} $$ - **部署优势**：无需 Python 环境，可直接在 C++/Java/移动端等平台加载使用[^1][^2] ### 2. 核心功能实现 | 功能 | 实现方式 | 示例代码 | |------|----------|----------| | **模型保存** | 变量转常量 | `graph_util.convert_variables_to_constants()`[^2][^3] | | **跨平台加载** | 统一二进制格式 | `tf.saved_model.load(pb_path)`[^1] | | **推理加速** | 图优化技术 | `tf.compat.v1.graph_editor`[^1] | | **格式转换** | 跨框架支持 | 转 ONNX/TFLite 等[^1][^4] | ### 3. 技术特点 1. **结构完整性**： - 包含完整的计算图定义（`GraphDef`） - 嵌入固化权重（冻结的 `Constant` 节点） - 示例结构： ```protobuf node { name: "conv1/weights" op: "Const" attr { key: "dtype" value { type: DT_FLOAT } } attr { key: "value" ... } // 权重数据直接嵌入 } ``` 2. **与 Checkpoint 区别**： | 特性 | .pb 文件 | .ckpt 文件 | |------|----------|------------| | 权重存储 | 内嵌常量 | 分离变量 | | 图结构 | 包含 | 不包含 | | 部署依赖 | 无 | 需重建计算图 | 3. **迁移学习支持**： - 通过指定输出节点名称实现部分加载： ```python graph_util.convert_variables_to_constants( sess, sess.graph_def, ["output_layer"] # 指定迁移学习输出节点 ) ``` 实现模型裁剪和特征提取[^3] ### 4. 典型应用场景 1. **生产环境部署**： - 服务器端推理服务（TensorFlow Serving） - 移动端集成（Android/iOS NNAPI） 2. **跨框架迁移**： - PyTorch → TensorFlow（通过 ONNX 中转）[^4] ```mermaid graph LR P[PyTorch .pth] --> O[ONNX] --> T[TF .pb] ``` 3. **模型优化**： - 使用 TensorRT 加速 - 量化为 INT8 格式 ### 5. 使用注意事项 1. **版本兼容**： - TensorFlow 1.x 与 2.x 的 `.pb` 格式有差异 - 推荐保存时注明版本： ```python tf.saved_model.save(model, path, options=tf.saved_model.SaveOptions(experimental_io_device='/job:localhost')) ``` 2. **输入输出规范**： - 需明确记录输入/输出张量名称： ```python # 保存时记录 with open('io_spec.json', 'w') as f: json.dump({'inputs': input_names, 'outputs': output_names}, f) ``` 3. **安全限制**： - 不支持动态图操作（eager execution） - 控制流操作（tf.cond/tf.while）需特殊处理 > **提示**：现代 TensorFlow 2.x 推荐使用 `SavedModel` 目录格式（包含 `.pb` + 变量目录），但单文件 `.pb` 仍是嵌入式设备的首选格式[^1]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值