【转载】改进erlang版本的protobuf

protobuf是google开源的序列化工具，类似xml，json，基于二进制，比XML表示同样一段内容要短小得多，还可以定义一些可选字段，用于服务端与客户端通信。google没有提供对erlang语言的直接支持，所以这里使用到的第三方的protobuffs库，文章在这个库的基础上做一些改进。

在开始阅读这篇文章前，先了解一下原来erlang版的protobuf使用例子。改进版的protobuf代码及例子在这里（下载地址）。欢迎下载，有什么问题可以评论反馈。

改进protobuf

改进调用方法

原来调用比较别扭，每个协议都是不同的方法名：

[plain]   view plain  copy

 

1. encode() ->    
2.     Person = #person{age=25, name="John"},    
3.     test_pb:encode_person(Person).    
4.     
5. decode() ->    
6.     Data = encode(),    
7.     test_pb:decode_person(Data).   

现在改成了统一的方法名：

[plain]   view plain  copy

 

1. encode() ->    
2.     Person = #person{age=25, name="John"},    
3.     test_pb:encode(Person). %% 或者 test_pb:encode(person, Person)  
4.     
5. decode() ->    
6.     Data = encode(),    
7.     test_pb:decode(person, Data).   

这样，很方便代码整合， 只要协议映射好，封包解包就可以统一在网关层处理。

改进空协议

[plain]   view plain  copy

 

1. message tos{  
2. }  

友好兼容空结构，原来空协议会报以下的警告信息

[plain]   view plain  copy

 

1. 2> test_pb:encode_tos(#tos{}).  
2. <<>>  
3. 3> c(test_pb).  
4. src/test_pb.erl:33: Warning: variable 'Record' is unused  
5. {ok,test_pb}  

改进调用效率

改进了序列化和反序列化的效率，encode测试效率提升10 ~ 20%， decode测试效率提升10% ~ 40%
decode优化较大，实际有些情况不止40%，取均值，部分代码优化到协议编译期，所以调用就省事多了。

总结一些效率改进的技巧

获取record名字

[plain]   view plain  copy

 

1. [RecName | _] = tuple_to_list(Data)  
2. 改成了：  
3. erlang:element(1,Data)  

函数参数匹配优化

[plain]   view plain  copy

 

1. test(Bytes) when is_binary(Bytes) ->  
2.     ok.  
3. 改成了  
4. test(<<Bytes/binary>>) ->  
5.     ok.  

当匹配类型多时就会明显，guard模块对于多参数或多类型匹配尤为不利，erlang在编译期不能做优化。

分割二进制

[plain]   view plain  copy

 

1. Bytes = list_to_binary("0123456789"),  
2. split_binary(Bytes, 3),  
3.   
4. <<B1:3/binary, B2/binary>> = Bytes,%% 测试效率没erlang:split_binary/2高  
5. {B1, B2}.  

二进制合并

[plain]   view plain  copy

 

1. 11> A= <<>>.  
2. <<>>  
3. 12> B= <<"1333">>.  
4. <<"1333">>  
5. 15> C= <<1,3,4>>.  
6. <<1,3,4>>  
7. 16> iolist_to_binary([B,C,A]).  
8. <<49,51,51,51,1,3,4>>  
9. 17> <<B/binary,C/binary,A/binary>>.  
10. <<49,51,51,51,1,3,4>>  
11. 18> c(loop).  
12. {ok,loop}  
13. 19> loop:test().  
14. 1000000 loops, using time: 281ms  
15. 1000000 loops, using time: 94ms  

case匹配优化

[plain]   view plain  copy

 

1. case Data of  
2.    {double, C} -> ok;  
3.    {float, C} -> ok;  
4.    {int, C} -> ok;  
5.    {string, C} -> ok;  
6.    _ -> ok  
7. end  
8.   
9. case Data of  
10.    {C, double} -> ok;  
11.    {C, float} -> ok;  
12.    {C, int} -> ok;  
13.    {C, string} -> ok;  
14.    _ -> ok  
15. end  

第一种 匹配 效率较高，case匹配类似函数参数匹配，固定不变的内容放匹配表达式左边

比较erlang原生的二进制转换

最后，比较 erlang:term_to_binary/1 与 erlang:binary_to_term/1 的效率
测试结果发现erlang原生的二进制转换的效率超高，但是数据没压缩，不适合直接使用。实际使用需要配合 zlib:zip/1，这个是压缩工具，可能还需要稍微优化一下

[plain]   view plain  copy

 

1. zip(Data) ->  
2.   Z = zlib:open(),  
3.   Bs =  
4.   try  
5.       zlib:deflateInit(Z, best_speed, deflated, -15, 1, default),  
6.       B = zlib:deflate(Z, Data, finish),  
7.       zlib:deflateEnd(Z),  
8.       B  
9.   after  
10.       zlib:close(Z)  
11.   end,  
12.   iolist_to_binary(Bs).  

测试结果：

erlang:term_to_binary/1（配合zlib:zip/1）时间开销比 protobuf 多15%。

erlang:binary_to_term/1（配合zlib:unzip/1）时间开销差不多是 protobuf 的50%。

项目Git地址：
https://github.com/chenweiqi/erl_protobuffs/

 

作者：【没有开花的树】
出处：http://blog.youkuaiyun.com/mycwq/article/details/42060641