Protobuffer和json深度对比

ST7789T3与CST816D驱动全解析,面试技巧第11篇:嵌入式面试场景问答 10 连发。 SPI模式下,SCLK、MOSI、CS、DC、RST为必需引脚;8080模式下需连接D0-D7、WR、RD等信号线。CST816D触摸芯片通常通过I2C接口通信,需连接SCL、SDA及INT(中断)引脚。确保电源引脚(VCC、GND)稳定供电,ST7789T3典型工作电压为3.3V。显示异常时检查时序参数,如SPI时钟频率(建议≤40MHz)、数据建立时间。初始化流程需发送一系列命令序列,包括设置像素格式、扫描方向、帧率控制等。扫描方向(MADCTL)可调整显示旋转角度,需根据实际硬件布局配置。 阅读详情

Protobuffer和json深度对比

 

JSON相信大家都知道是什么东西,如果不知道,那可就真的OUT了,GOOGLE一下去。这里就不介绍啥的了。

Protobuffer大家估计就很少听说了,但如果说到是GOOGLE搞的,相信大家都会有兴趣去试一下,毕竟GOOGLE出口,多属精品。

Protobuffer是一个类似JSON的一个传输协议,其实也不能说是协议,只是一个数据传输的东西罢了。

那它跟JSON有什么区别呢?

跨语言,这是它的一个优点。它自带了一个编译器,protoc,只需要用它进行编译,可以编译成JAVA、python、C++代码,暂时只有这三个,其他就暂时不要想了,然后就可以直接使用,不需要再写任何其他代码。连解析的那些都已经自带有的。JSON当然也是跨语言的,但这个跨语言是建立在编写代码的基础上。

如果想再深入了解的,可以去看看:

https://developers.google.com/protocol-buffers/docs/overview

好了,废话不多说,我们直接来看看,为什么我们需要对比protobuffer(下面简称GPB)和JSON。

1、JSON因为有一定的格式,并且是以字符存在的,在数据量上还有可以压缩的空间。而GPB上大数据量时,空间比JSON小很多,等一下的例子我们可以看到。

2、JSON各个库之间的效率相差比较大,jackson库和GSON就大概有5-10的差距(这个只做过一次测试,如有误,请大家轻拍)。而GPB只需要一个,没有所谓的多个库的区别。当然这个点只是弄出来凑数的,可以忽略不计哈。

 

Talk is cheap,Just show me the code。

在程序界,代码永远是王道,下面就直接来代码吧。

上代码前,大家要先下载protobuffer,在这里:

https://code.google.com/p/protobuf/downloads/list

注意,需要下载两个,一个是complier,另外一个是source code,相信这个难不倒大家了,这里略过。

1、首先,GPB是需要有一个类似类定义的文件,叫proto文件 。

我们以学生和老师的例子来进行一个例子:

我们有以下两个文件:student.proto

 

Java代码

 收藏代码

  1. <span style="font-size: 16px;">option java_package = "com.shun";  
  2. option java_outer_classname = "StudentProto";  
  3.   
  4. message Student {  
  5.     required int32 id = 1;  
  6.     optional string name = 2;  
  7.     optional int32 age = 3;  
  8. }</span>  

 teacher.proto

 

Java代码

 收藏代码

  1. <span style="font-size: 16px;">import "student.proto";  
  2. option java_package = "com.shun";  
  3. option java_outer_classname = "TeacherProto";  
  4.   
  5. message Teacher {  
  6.     required int32 id = 1;  
  7.     optional string name = 2;  
  8.   
  9.     repeated Student student_list = 3;  
  10. }</span>  

这里我们遇到了一些比较奇怪的东西:

import,int32,repated,required,optional,option等

一个个来吧:

1)import表示引入其他的proto文件

2)required,optional表示字段是否可选,这个决定了该字段有无值的情况下protobuffer会进行什么处理。如果标志了required,但当处理时,该字段没有进行传值,则会报错;如果标志了optional,不传值则不会有什么问题。

3)repeated相信应该都看得懂了,就是是否重复,跟JAVA里面的list类似

4)message就是相当于class了

5)option表示选项,其中的java_package表示包名,即生成JAVA代码时使用的包名,java_outer_classname即为类名,注意这个类名不能跟下面的message中的类名相同。

至于还有其他的选项和相关类型的,请参观官方文档。

 

2、有了这几个文件,我们能怎么样呢?

记得上面下载的编译器了吧,解压出来,我们得到一个protoc.exe,这当然是windows下的,我没弄其他系统的,有兴趣的同学去折腾下罗。

加到path(加不加可以随便,只是方不方便而已),然后就可以通过上面的文件生成我们需要的类文件了。

protoc --java_out=存放源代码的路径 --proto_path=proto文件的路径 proto具体文件

--proto_path指定的是proto文件的文件夹路径,并不是单个文件,主要是为了import文件查找使用的,可以省略

 

如我需要把源代码放在D:\protobufferVsJson\src,而我的proto文件存放在D:\protoFiles

那么我的编译命令就是:

protoc --java_out=D:\protobufferVsJson\src 

D:\protoFiles\teacher.proto D:\protoFiles\student.proto

注意,这里最后的文件,我们需要指定需要编译的所有文件

 

编译后可以看到生成的文件。

代码就不贴出来了,太多了。大家可以私下看看,代码里面有一大堆Builder,相信一看就知道是建造者模式了。

这时可以把代码贴到你的项目中了,当然,错误一堆了。

 

记得我们前面下载的源代码吗?解压它吧,不要手软。然后找到src/main/java/复制其中的一堆到你的项目,当然,你也可以ant或者maven编译,但这两个东西我都不熟,就不献丑了,我还是习惯直接复制到项目中。


代码出错,哈哈,正常。不知道为何,GOOGLE非要留下这么个坑给我们。

翻回到protobuffer目录下的\java看到有个readme.txt了吧,找到一句:

看来看去,感觉这个代码会有点奇怪的,好像错错的感觉,反正我是没按那个执行,我的命令是:

 

Java代码

 收藏代码

  1. <span style="font-size: 16px;">protoc --java_out=还是上面的放代码的地方 proto文件的路径(这里是descriptor.proto文件的路径)</span>  

执行后,我们可以看到代码中的错误木有了。

 

3、接下来当然就是测试了。

我们先进行GPB写入测试:

Java代码

 收藏代码

  1. <span style="font-size: 16px;">package com.shun.test;  
  2.   
  3. import java.io.FileOutputStream;  
  4. import java.io.IOException;  
  5. import java.util.ArrayList;  
  6. import java.util.List;  
  7.   
  8. import com.shun.StudentProto.Student;  
  9. import com.shun.TeacherProto.Teacher;  
  10.   
  11. public class ProtoWriteTest {  
  12.   
  13.     public static void main(String[] args) throws IOException {  
  14.           
  15.         Student.Builder stuBuilder = Student.newBuilder();  
  16.         stuBuilder.setAge(25);  
  17.         stuBuilder.setId(11);  
  18.         stuBuilder.setName("shun");  
  19.           
  20.         //构造List  
  21.         List<Student> stuBuilderList = new ArrayList<Student>();  
  22.         stuBuilderList.add(stuBuilder.build());  
  23.           
  24.         Teacher.Builder teaBuilder = Teacher.newBuilder();  
  25.         teaBuilder.setId(1);  
  26.         teaBuilder.setName("testTea");  
  27.         teaBuilder.addAllStudentList(stuBuilderList);  
  28.           
  29.         //把gpb写入到文件  
  30.         FileOutputStream fos = new FileOutputStream("C:\\Users\\shun\\Desktop\\test\\test.protoout");  
  31.         teaBuilder.build().writeTo(fos);  
  32.         fos.close();  
  33.     }  
  34.   
  35. }</span>  

我们去看看文件,如无意外,应该是生成了的。

生成了之后,我们肯定要读回它的。

Java代码

 收藏代码

  1. <span style="font-size: 16px;">package com.shun.test;  
  2.   
  3. import java.io.FileInputStream;  
  4. import java.io.FileNotFoundException;  
  5. import java.io.IOException;  
  6.   
  7. import com.shun.StudentProto.Student;  
  8. import com.shun.TeacherProto.Teacher;  
  9.   
  10. public class ProtoReadTest {  
  11.   
  12.     public static void main(String[] args) throws FileNotFoundException, IOException {  
  13.           
  14.         Teacher teacher = Teacher.parseFrom(new FileInputStream("C:\\Users\\shun\\Desktop\\test\\test.protoout"));  
  15.         System.out.println("Teacher ID:" + teacher.getId() + ",Name:" + teacher.getName());  
  16.         for (Student stu:teacher.getStudentListList()) {  
  17.             System.out.println("Student ID:" + stu.getId() + ",Name:" + stu.getName() + ",Age:" + stu.getAge());  
  18.         }  
  19.     }  
  20.   
  21. }</span>  

代码很简单,因为GPB生成的代码都帮我们完成了。

上面知道基本的用法了,我们重点来关注GPB跟JSON生成文件大小的区别,JSON的详细代码我这里就不贴了,之后会贴出示例,大家有兴趣可以下载。

这里我们用Gson来解析JSON,下面只给出对象转换成JSON后写出文件的代码:

两个类Student和Teacher的基本定义就不弄了,大家随意就行,代码如下:

 

Java代码

 收藏代码

  1. <span style="font-size: 16px;">package com.shun.test;  
  2.   
  3. import java.io.FileWriter;  
  4. import java.io.IOException;  
  5. import java.util.ArrayList;  
  6. import java.util.List;  
  7.   
  8. import com.google.gson.Gson;  
  9. import com.shun.Student;  
  10. import com.shun.Teacher;  
  11.   
  12. public class GsonWriteTest {  
  13.   
  14.     public static void main(String[] args) throws IOException {  
  15.         Student stu = new Student();  
  16.         stu.setAge(25);  
  17.         stu.setId(22);  
  18.         stu.setName("shun");  
  19.           
  20.         List<Student> stuList = new ArrayList<Student>();  
  21.         stuList.add(stu);  
  22.           
  23.         Teacher teacher = new Teacher();  
  24.         teacher.setId(22);  
  25.         teacher.setName("shun");  
  26.         teacher.setStuList(stuList);  
  27.           
  28.         String result = new Gson().toJson(teacher);  
  29.         FileWriter fw = new FileWriter("C:\\Users\\shun\\Desktop\\test\\json");  
  30.         fw.write(result);  
  31.         fw.close();  
  32.     }  
  33.   
  34. }</span>  

接下来正式进入我们的真正测试代码了,前面我们只是在列表中放入一个对象,接下来,我们依次测试100,1000,10000,100000,1000000,5000000这几个数量的GPB和JSON生成的文件大小。

改进一下之前的GPB代码,让它生成不同数量的列表,再生成文件:

 

Java代码

 收藏代码

  1. <span style="font-size: 16px;">package com.shun.test;  
  2.   
  3. import java.io.FileOutputStream;  
  4. import java.io.IOException;  
  5. import java.util.ArrayList;  
  6. import java.util.List;  
  7.   
  8. import com.shun.StudentProto.Student;  
  9. import com.shun.TeacherProto.Teacher;  
  10.   
  11. public class ProtoWriteTest {  
  12.   
  13.     public static final int SIZE = 100;  
  14.       
  15.     public static void main(String[] args) throws IOException {  
  16.           
  17.         //构造List  
  18.         List<Student> stuBuilderList = new ArrayList<Student>();  
  19.         for (int i = 0; i < SIZE; i ++) {  
  20.             Student.Builder stuBuilder = Student.newBuilder();  
  21.             stuBuilder.setAge(25);  
  22.             stuBuilder.setId(11);  
  23.             stuBuilder.setName("shun");  
  24.               
  25.             stuBuilderList.add(stuBuilder.build());  
  26.         }  
  27.           
  28.         Teacher.Builder teaBuilder = Teacher.newBuilder();  
  29.         teaBuilder.setId(1);  
  30.         teaBuilder.setName("testTea");  
  31.         teaBuilder.addAllStudentList(stuBuilderList);  
  32.           
  33.         //把gpb写入到文件  
  34.         FileOutputStream fos = new FileOutputStream("C:\\Users\\shun\\Desktop\\test\\proto-" + SIZE);  
  35.         teaBuilder.build().writeTo(fos);  
  36.         fos.close();  
  37.     }  
  38.   
  39. }</span>  

 这里的SIZE依次改成我们上面据说的测试数,可以得到如下:

 


 然后我们再看看JSON的测试代码:

 

 

Java代码

 收藏代码

  1. <span style="font-size: 16px;">package com.shun.test;  
  2.   
  3. import java.io.FileWriter;  
  4. import java.io.IOException;  
  5. import java.util.ArrayList;  
  6. import java.util.List;  
  7.   
  8. import com.google.gson.Gson;  
  9. import com.shun.Student;  
  10. import com.shun.Teacher;  
  11.   
  12. public class GsonWriteTest {  
  13.   
  14.     public static final int SIZE = 100;  
  15.       
  16.     public static void main(String[] args) throws IOException {  
  17.           
  18.         List<Student> stuList = new ArrayList<Student>();  
  19.         for (int i = 0; i < SIZE; i ++) {  
  20.             Student stu = new Student();  
  21.             stu.setAge(25);  
  22.             stu.setId(22);  
  23.             stu.setName("shun");  
  24.               
  25.             stuList.add(stu);  
  26.         }  
  27.           
  28.           
  29.         Teacher teacher = new Teacher();  
  30.         teacher.setId(22);  
  31.         teacher.setName("shun");  
  32.         teacher.setStuList(stuList);  
  33.           
  34.         String result = new Gson().toJson(teacher);  
  35.         FileWriter fw = new FileWriter("C:\\Users\\shun\\Desktop\\test\\json" + SIZE);  
  36.         fw.write(result);  
  37.         fw.close();  
  38.     }  
  39.   
  40. }</span>  

 同样的方法修改SIZE,并作相应的测试。

可以明显得看到json的文件大小跟GPB的文件大小在数据量慢慢大上去的时候就会有比较大的差别了,JSON明显要大上许多。


上面的表应该可以看得比较清楚了,在大数据的GPB是非常占优势的,但一般情况下客户端和服务端并不会直接进行这么大数据的交互,大数据主要发生在服务器端的传输上,如果你面对需求是每天需要把几百M的日志文件传到另外一台服务器,那么这里GPB可能就能帮你的大忙了。

 

 

说是深度对比,其实主要对比的是大小方面,时间方面可比性不会太大,也没相差太大。

文章中选择的Gson解析器,有兴趣的朋友可以选择Jackson或者fastjson,又或者其他的,但生成的文件大小是一样的,只是解析时间有区别。

 

这神一般的iteye博客编辑器,无语了,插入代码后还要带些标签,大家将就看吧。代码就打包在下面了。

17、高通8155座舱平台--QNX开发基础 我个人习惯,拿到一个新板子,第一件事就是打开IDE,建一个空的QNX项目,然后跑一遍Hello World。比如,当触摸屏被按下时,驱动发一个脉冲给UI进程,告诉它“嘿,有人摸屏幕了”。我在8155上调试时,就遇到过因为脉冲优先级太低,导致触摸响应延迟的问题。IDE自带的编译器是qcc,它其实是gcc的封装。QNX的IPC机制,可以说是它最牛的地方。嗯,这套流程走下来,你对QNX开发的基本功就差不多了。QNX默认的消息缓冲区大小是64KB,如果你要传大块数据,比如音频流,那就得用共享内存了。 阅读详情

相关推荐

FIddler+Proxifer 实现PC客户端抓包详细教程

FIddler+Proxifer 实现PC客户端抓包详细教程

森明帮大于黑虎帮的博客 1万+

Protobuf与Json的相互转化

前言 最近的工作中开始使用Google的Protobuf构建REST API,按照现在使用的感觉,除了应为Protobuf的特性,接口被严格确定下来之外,暂时还么有感受到其他特别的好处。说是Protobuf比Json的序列化更小更快,但按照目前的需求,估计很就都没有还不会有这个性能的需要。既然是全新的技术,我非常地乐意学习。 在MVC的代码架构中,Protbuf是Controller层用到的技术,为了能够将每个层进行划分,使得Service层的实现不依赖于Protobuf,需要将Protobuf的实体类

yuhui666666的博客 1万+

告别盲打:为NXOpen Python API生成智能代码提示的完整指南

本文提供了一份为NXOpen Python API生成智能代码提示的完整指南。通过配置匹配的Python环境、利用类型存根文件生成工具创建.pyi文件,并在PyCharm或VSCode中正确配置,开发者可以彻底告别“盲打”,获得精准的代码补全和参数提示,从而大幅提升NX二次开发的效率和体验。

weixin_29057695的博客 372

Protobuf 和 Json的对比

1、protobuf是google开发的一个数据传输格式,类似json 2、protobuf是二进制的、结构化的,所以比json的数据量更小,也更对象化 3、protobuf不是像json直接明文的,这个是定义对象结构,然后由protbuf库去把对象自动转换成二进制,用的时候再自动反解过来的。传输对我们是透明的!我们只管传输的对象就可以了例如,有这样一个User结构 现在要传输这样一个对象

JIA227的博客 1万+

matlab 用m_map画地形水深图

clear,clc %投影 m_proj('albers equal-area','lat',[5 43],'long',[105 125],'rect','on'); %加载水深文件 [CS,CH]=m_etopo2('contourf',[-7000:500:3000],'edgecolor','none'); %绘制高分辨率陆地和海岸线 m_gshhs_h('patch',[0.1 0.9 ...

qq_44913577的博客 9515

电池管理系统(BMS)系列—状态估计之SOH

BMS系列文章,介绍了SOH估计

zxx52113140的博客 1849

Protobuf 和JSON 性能分析

从官方页面:协议缓冲区是 GOOGLE 用于序列化结构化数据的语言中立、平台中立、可扩展机制——想想 XML,但更小、更快、更简单。您只需定义一次数据的结构化方式,然后就可以使用特殊生成的源代码轻松地将结构化数据写入和读取各种数据流,并使用各种语言。因此,协议缓冲区是一种有效编码结构化数据的方法。它提供了通过使用规范语言定义其模式来创建数据结构的灵活性。规范语言不是用任何语言编写的,您可以使用 proto 文件语法定义消息。这些消息用于以特定格式对数据进行编码,以使消息大小更小。...

3077

华为od 面试八股文_测试/测试开发_05_含答案

华为od 面试八股文_测试/测试开发_05_含答案

MISAYAONE的博客 2558

JSON和Protobuf序列化

因为像TCP和UDP这种底层协议只能发送字节流,因此当我们在开发一些远程过程调用(RPC)的程序时,需要将应用层的Java POJO对象序列化成字节流,数据接收端再反序列化成Java POJO对象。理论上对于性能要求不是太高的服务器程序可以选择JSON系列的序列化框架,而对于性能要求较高的服务器程序则应该选择传输效率更高的二进制序列化框架如Protobuf。

qq_25046827的博客 2251

Python爬虫实战:全面解析裁判文书网法律文书抓取与分析

本文详细介绍了如何使用Python爬虫技术,分别通过Requests+BeautifulSoup、Selenium和Scrapy等方式,爬取裁判文书网的法律文书信息,并进行了验证码处理、数据存储和可视化分析。网页结构分析与数据提取;爬虫框架的使用;验证码处理策略;数据分析与可视化。爬取更多法律文书网站的数据;爬取文书的全文内容;构建法律文书搜索引擎;使用自然语言处理技术对法律文书进行深入分析。

2201_76125261的博客 1332

ZYNQ 网络通信的四种实现方案

一,ZYNQ MIO以RGMII 接口连接外部PHY芯片实现LWIP网络通信。 二,ZYNQ PS 的 ENET0/ENET1 通过 EMIO 的方式扩展至 PL,在 PL 中通过 RGMII 接口连接扩展子卡实现 LWIP 网络通信。 在PL中搭建了1个AXI 1G/2.5G Ethernet Subsystem以及1个AXI Direct Memory Access IP 核。这两个 IP核均通过AXI 总线经S_AXI_HP0 口与PS 连接,PS 通过AXI 总线对其进行配置和控..

wangjie36的博客 1万+

Protobuffer 和 Json 深度对比

JSON相信大家都知道是什么东西,如果不知道,那可就真的OUT了,GOOGLE一下去。这里就不介绍啥的了。 Protobuffer大家估计就很少听说了,但如果说到是GOOGLE搞的,相信大家都会有兴趣去试一下,毕竟GOOGLE出口,多属精品。 Protobuffer是一个类似JSON的一个传输协议,其实也不能说是协议,只是一个数据传输的东西罢了。 那它跟JSON有什么区别呢?

CharliChen 's Blog 2167

10、高阶ΣΔ调制器设计与优化

本文深入探讨了高阶ΣΔ调制器的设计与优化技术,重点介绍了NTF零点优化方法,通过分散单位圆上的零点分布提升信噪失真比(SQNR)。文章分析了量化噪声耦合技术如何有效提高噪声整形阶数,并对比了CIFB、CIFF、CRFB和CRFF等不同架构的性能特点。同时,详细阐述了基于稳定性与性能权衡的设计流程,结合Schreier的Delta-Sigma Toolbox实现NTF综合与仿真验证。内容涵盖从理论推导到实际设计步骤,为高阶ΣΔ调制器的稳定性提升与性能优化提供了系统性指导。

tgb345678的博客 135

Protobuffer和json深度对比(转)

转自:http://cxshun.iteye.com/blog/1974498   JSON相信大家都知道是什么东西,如果不知道,那可就真的OUT了,GOOGLE一下去。这里就不介绍啥的了。 Protobuffer大家估计就很少听说了,但如果说到是GOOGLE搞的,相信大家都会有兴趣去试一下,毕竟GOOGLE出口,多属精品。 Protobuffer是一个类似JSON的一个传输协议...

iteye_5347的博客 285

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Protobuffer简介c#

一、Protobuffer和json深度对比 JSON相信大家都知道是什么东西,如果不知道,那可就真的OUT了,GOOGLE一下去。这里就不介绍啥的了。 Protobuffer大家估计就很少听说了,但如果说到是GOOGLE搞的,相信大家都会有兴趣去试一下,毕竟GOOGLE出口,多属精品。 Protobuffer是一个类似JSON的一个传输协议,其实也不能说是协议,只是一个数...

weixin_30905133的博客 226

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: [转]google protobuf安装与使用
下一篇: 各种排序算法总结
zero_china
博客等级 码龄16年 10粉丝 0原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值