GJM : FlatBuffers 与 protobuf 性能比较 [转载 ]

原帖地址：http://blog.youkuaiyun.com/menggucaoyuan/article/details/34409433

原作者：企鹅  menggucaoyuan

未经原作者同意不允许转载

感谢您的阅读。喜欢的、有用的就请大哥大嫂们高抬贵手“推荐一下”吧！你的精神支持是博主强大的写作动力以及转载收藏动力。欢迎转载！ 版权声明：本文原创发表于 【请点击连接前往】 ，未经作者同意必须保留此段声明！如有问题请联系我，侵立删，谢谢！ 我的博客：http://www.cnblogs.com/GJM6/  -  传送门：【点击前往】

 

 FlatBuffers发布时，顺便也公布了它的性能数据，具体数据请见Benchmark。

    它的测试用例由以下数据构成"a set of about 10 objects containing an array, 4 strings, and a large variety of int/float scalar values of all sizes, meant to be representative of game data, e.g. a scene format."

   我感觉这样测试如同儿戏，便自己设计了一个测试用例，主要关注CPU计算时间和内存空间占用两个指标，参考对象是protobuf。

   测试用例为：序列化一个通讯录personal_info_list（table），通讯录可以认为是有每个人的信息(personal_info)的集合。每个人信息personal_info(table)有：个人id(uint)、名字(string)、年龄(byte)、性别(enum, byte)和电话号码(ulong)。本来我想用struct表示personal_info(table)，但是struct不允许有数组或string成员，无奈我用table描述它了。相应的idl文件如下：

 

[cpp]  view plain  copy

 

1. //  
2.  FILE     : tellist.fbs  
3.  DESC     : basic message for msg-center  
4.  AUTHOR   : v 0.1 written by Alex Stocks on June 22, 2014  
5.  LICENCE  :  
6.  MOD      :  
7.   
8.   
9. namespace as.tellist;  
10.   
11. enum GENDER_TYPE : byte  
12. {  
13.     MALE    = 0,  
14.     FEMALE  = 1,  
15.     OTHER   = 2  
16. }  
17.   
18. table personal_info  
19. {  
20.     id : uint;  
21.     name : string;  
22.     age : byte;  
23.     gender : GENDER_TYPE;  
24.     phone_num : ulong;  
25. }  
26.   
27. table personal_info_list  
28. {  
29.     info : [personal_info];  
30. }  
31.   
32. root_type personal_info_list;  

   因为要以protobuf做性能参考，列出protobuf的idl文件如下：    

 

[cpp]  view plain  copy

 

1. //  
2.  FILE     : tellist.proto  
3.  DESC     : basic message for msg-center  
4.  AUTHOR   : v 0.1 written by Alex Stocks on June 22, 2014  
5.  LICENCE  :  
6.  MOD      :  
7.   
8.   
9. package as.tellist;  
10.   
11. enum gender_type  
12. {  
13.     MALE    = 0;  
14.     FEMALE  = 1;  
15.     OTHER   = 2;  
16. }  
17.   
18. message personal_info  
19. {  
20.     optional uint32         id = 1;  
21.     optional string         name = 2;  
22.     optional uint32         age = 3;  
23.     optional gender_type    gender = 4;  
24.     optional uint64         phone_num = 5;  
25. }  
26.   
27. message personal_info_list  
28. {  
29.     repeated personal_info  info = 1;  
30. }  

    若用C的struct描述对应的头文件(其对应的程序称之为“二进制”)，如下：

[cpp]  view plain  copy

 

1. /** 
2.  * FILE        : tellist.h 
3.  * DESC        : to test tellist 
4.  * AUTHOR  : v1.0 written by Alex Stocks 
5.  * DATE        : on June 28, 2014 
6.  * LICENCE : GPL 2.0 
7.  * MOD     : 
8.  **/  
9.   
10. #ifndef __TELLIST_H__  
11. #define __TELLIST_H__  
12.   
13. enum  
14. {  
15.  GENDER_TYPE_MALE = 0,  
16.  GENDER_TYPE_FEMALE = 1,  
17.  GENDER_TYPE_OTHER = 2,  
18. };  
19.   
20.   
21. inline const char **EnumNamesGENDER_TYPE()  
22. {  
23.  static const char *names[] = { "MALE", "FEMALE", "OTHER"};  
24.  return names;  
25. }  
26.   
27.   
28. inline const char *EnumNameGENDER_TYPE(int e)  
29. {  
30.  return EnumNamesGENDER_TYPE()[e];  
31. }  
32.   
33. typedef struct personal_info_tag  
34. {  
35.  unsigned           id;  
36.  unsigned char      age;  
37.  char               gender;  
38.  unsigned long long phone_num;  
39.  char               name[32];  
40. } personal_info;  
41.   
42. typedef struct personal_info_list_tag  
43. {  
44.  int                size;  
45.  personal_info  info[0];  
46. } personal_info_list;  
47.   
48. #endif  
49.   
50. // the end of the header file tellist.h  

    测试时，在内存中构造37个personal_info对象，并序列化之，重复这个过程100万次，然后再进行反序列化，再重复100万次。

    测试结果如下(补充：tellist_pb是protobuf测试程序，tellist_fb是FlatBuffers测试程序，tellist_fb是二进制测试程序，)：

 

[html]  view plain  copy

 

1. 测试环境：12Core Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz  
2. free  
3.              total       used       free     shared    buffers     cached  
4. Mem:      66081944   62222028    3859916          0     196448   43690828  
5. -/+ buffers/cache:   18334752   47747192  
6. Swap:       975864     855380     120484  
7.   
8. protobuf三次测试结果：  
9. bin/tellist_pb   
10. encode: loop = 1000000, time diff = 14210ms  
11. decode: loop = 1000000, time diff = 11185ms  
12. buf size:841  
13.   
14. bin/tellist_pb   
15. encode: loop = 1000000, time diff = 14100ms  
16. decode: loop = 1000000, time diff = 11234ms  
17. buf size:841  
18.   
19. bin/tellist_pb   
20. encode: loop = 1000000, time diff = 14145ms  
21. decode: loop = 1000000, time diff = 11237ms  
22. buf size:841  
23. 序列化后占用内存空间841Byte，encode平均运算时间42455ms / 3 = 14151.7ms，decode平均计算时间33656ms / 3 = 11218.7ms  
24.   
25. flatbuffers三次测试结果：  
26.  bin/tellist_fb   
27. encode: loop = 1000000, time diff = 11666ms  
28. decode: loop = 1000000, time diff = 1141ms  
29. buf size:1712  
30.   
31. bin/tellist_fb   
32. encode: loop = 1000000, time diff = 11539ms  
33. decode: loop = 1000000, time diff = 1200ms  
34. buf size:1712  
35.   
36. bin/tellist_fb   
37. encode: loop = 1000000, time diff = 11737ms  
38. decode: loop = 1000000, time diff = 1141ms  
39. buf size:1712  
40. 序列化后占用内存空间1712Byte，encode平均运算时间34942ms / 3 = 11647.3ms，decode平均计算时间3482ms / 3 = 1160.7ms  
41.   
42. 二进制三次测试结果：  
43. bin/tellist   
44. encode: loop = 1000000, time diff = 4967ms  
45. decode: loop = 1000000, time diff = 688ms  
46. buf size:304  
47.   
48.  bin/tellist   
49. encode: loop = 1000000, time diff = 4971ms  
50. decode: loop = 1000000, time diff = 687ms  
51. buf size:304  
52.   
53. bin/tellist   
54. encode: loop = 1000000, time diff = 4966ms  
55. decode: loop = 1000000, time diff = 686ms  
56. buf size:304  
57. 序列化后占用内存空间304Byte，encode平均运算时间14904ms / 3 = 4968ms，decode平均计算时间2061ms / 3 = 687ms  
58.   
59. 测试环境：1 Core Intel(R) Core(TM) i5-3210M CPU @ 2.50GHz  
60. free  
61.              total       used       free     shared    buffers     cached  
62. Mem:        753932     356036     397896          0      50484     224848  
63. -/+ buffers/cache:      80704     673228  
64. Swap:      1324028        344    1323684  
65. protobuf三次测试结果：  
66. ./bin/tellist_pb   
67. encode: loop = 1000000, time diff = 12451ms  
68. decode: loop = 1000000, time diff = 9662ms  
69. buf size:841  
70.   
71. ./bin/tellist_pb   
72. encode: loop = 1000000, time diff = 12545ms  
73. decode: loop = 1000000, time diff = 9840ms  
74. buf size:841  
75.   
76. ./bin/tellist_pb   
77. encode: loop = 1000000, time diff = 12554ms  
78. decode: loop = 1000000, time diff = 10460ms  
79. buf size:841  
80. 序列化后占用内存空间841Byte，encode平均运算时间37550ms / 3 = 12516.7ms，decode平均计算时间29962ms / 3 = 9987.3ms  
81.   
82. flatbuffers三次测试结果：  
83. bin/tellist_fb   
84. encode: loop = 1000000, time diff = 9640ms  
85. decode: loop = 1000000, time diff = 1164ms  
86. buf size:1712  
87.   
88. bin/tellist_fb   
89. encode: loop = 1000000, time diff = 9595ms  
90. decode: loop = 1000000, time diff = 1170ms  
91. buf size:1712  
92.   
93. bin/tellist_fb   
94. encode: loop = 1000000, time diff = 9570ms  
95. decode: loop = 1000000, time diff = 1172ms  
96. buf size:1712  
97. 序列化后占用内存空间1712Byte，encode平均运算时间28805ms / 3 = 9345ms，decode平均计算时间3506ms / 3 = 1168.7ms  
98.   
99. 二进制三次测试结果：  
100. bin/tellist   
101. encode: loop = 1000000, time diff = 4194ms  
102. decode: loop = 1000000, time diff = 538ms  
103. buf size:304  
104.   
105. bin/tellist   
106. encode: loop = 1000000, time diff = 4387ms  
107. decode: loop = 1000000, time diff = 544ms  
108. buf size:304  
109.   
110. bin/tellist   
111. encode: loop = 1000000, time diff = 4181ms  
112. decode: loop = 1000000, time diff = 533ms  
113. buf size:304  
114. 序列化后占用内存空间304Byte，encode平均运算时间12762ms / 3 = 4254ms，decode平均计算时间1615ms / 3 = 538.3ms  

    上面的二进制程序的结果无论在内存空间占用还是cpu计算时间这两个指标上都是最快的。但本文只讨论FlatBuffers和protobuf，所以不让它的结果参与比较。

    从以上数据看出，在内存空间占用这个指标上，FlatBuffers占用的内存空间比protobuf多了两倍。序列化时二者的cpu计算时间FB比PB快了3000ms左右，反序列化时二者的cpu计算时间FB比PB快了9000ms左右。FB在计算时间上占优势，而PB则在内存空间上占优（相比FB，这也正是它计算时间比较慢的原因）。

    上面的测试环境是在公司的Linux server端和我自己的mac pro分别进行的。请手机端开发者自己也在手机端进行下测试， 应该能得到类似的结果。Google宣称FB适合游戏开发是有道理的，如果在乎计算时间我想它也适用于后台开发。

    另外，FB大量使用了C++11的语法，其从idl生成的代码接口不如protubuf友好。不过相比使用protobuf时的一堆头文件和占18M之多的lib库，FlatBuffers仅仅一个"flatbuffers/flatbuffers.h"就足够了。