ProtoBuf

本文介绍如何使用Google的Protobuf进行数据序列化,并通过一个具体示例展示了从配置环境到实现序列化与反序列化的全过程。此外还讨论了如何将序列化后的数据存储到数据库并从中读取。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

由于JDK传统的序列化,有如下致命的缺点

1,无法夸语言

2,序列化后,码流过大

3,序列化效率过低(传统的序列化性能只有二进制编码的7%左右)


google的ProtoBuf,能够很好的解决以上问题。


由于Protobuf受到推崇,故尝试采用protobuf来摒弃传统的xml进行传输数据。


首先,需要下载的关于Protobuf的文件:

1.到http://code.google.com/p/protobuf/downloads/list ,选择其中的win版本下载,我选择的是protoc-2.4.1-win32.zip

2.下载一个protobuf-java-2.4.1.jar文件(注意,要与你刚才下的proto.exe版本相同)

然后就开始开发了。

步骤:
1.用记事本编写一个.proto文件:
}如:我编写的是test.proto

package protobuf;
option java_package = "com.sq.protobuf";
option java_outer_classname = "FirstProtobuf";
message testBuf  {
  required int32 ID = 1;
  required string Url = 2;
}

将其放在与刚解压的protoc.exe同级目录中。

2.
在cmd中,到protoc-2.4.1-win32文件夹下,
执行
E:\protoc-2.4.1-win32>protoc.exe --java_out=./ test.proto
则可以找到的一个生成的FirstProtobuf.java文件。


3.

在MyEclipse中新建一个java project,建立包com.sq.protobuf,然后将刚才生成的FirstProtobuf.java文件放在其下面。

此时会报错,因为没有引入jar包,在package视图下,将protobuf-java-2.4.1.jar引入,即可解决问题。


4.

建立测试文件:


package com.sq.protobuf.test;


import java.io.ByteArrayInputStream;
import java.io.InputStream;
import java.sql.Blob;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.Statement;

import com.google.protobuf.InvalidProtocolBufferException;
import com.sq.protobuf.FirstProtobuf;

public class Test {
public static void main(String[] args) {
//序列化过程
//FirstProtobuf是生成类的名字,即proto文件中的java_outer_classname
//testBuf是里面某个序列的名字,即proto文件中的message testBuf
FirstProtobuf.testBuf.Builder builder=FirstProtobuf.testBuf.newBuilder();
builder.setID(777);
builder.setUrl("shiqi");

//testBuf
FirstProtobuf.testBuf info=builder.build();

byte[] result = info.toByteArray() ;

String driver = "oracle.jdbc.driver.OracleDriver";
        String url = "jdbc:oracle:thin:@10.64.59.12:1521/orcl";
        String user = "parkingsystem"; 
        String password = "parkingsystem";
        try {
         Class.forName(driver);
         Connection conn = DriverManager.getConnection(url, user, password);

         if(!conn.isClosed()){
           System.out.println("Succeeded connecting to the Database!");
          //此处只能使用prepareStatement
           PreparedStatement ps = conn.prepareStatement("insert into test(id,test) values (1,?)");
          
           //写入数据库,要把它改写为流的形式
           ByteArrayInputStream stream =  new ByteArrayInputStream(result);
           ps.setBinaryStream(1,stream,stream.available());
           Statement statement = conn.createStatement();
          
           Blob blob = null;
           ps.execute();
          
          ////////////////上述完成将写入数据库的操作,数据库中对应的字段的属性要设置为Blob
          
          
           String sql = "select test from test";
           ResultSet rs = statement.executeQuery(sql);
           if(rs.next()){
           blob = rs.getBlob("test");
           }
          
           byte[] s = blob.getBytes(1,(int)blob.length());
           FirstProtobuf.testBuf testBuf = FirstProtobuf.testBuf.parseFrom(s);
           System.out.println(testBuf);
           conn.close();
         }
         }catch(Exception e) {
          e.printStackTrace();
         }

//反序列化过程
try {
FirstProtobuf.testBuf testBuf = FirstProtobuf.testBuf.parseFrom(result);
System.out.println(testBuf);
} catch (InvalidProtocolBufferException e) {
e.printStackTrace();
}

}
}


发现可以将其序列化,插入到数据库,并可以从数据库出取出后,反序列化,内容可以正常显示出来。


注意的就是2点:

1.不能用statement,否则无法插入blob类型的数据

2.为参数赋值时,要用

ByteArrayInputStream stream =  new ByteArrayInputStream(result);
ps.setBinaryStream(1,stream,stream.available());


### Protocol Buffers 使用指南 Protocol Buffers(简称 Protobuf)是一种语言中立、平台中立、可扩展的序列化结构数据的方式,主要用于通信协议、数据存储等。以下是关于 Protobuf 的相关信息和使用方法。 #### 1. 基本概念 Protobuf 是一种二进制序列化格式,相比 XML 和 JSON 更为紧凑高效[^1]。它通过 `.proto` 文件定义消息结构,并使用 `protoc` 编译器生成多种编程语言的代码。这种方式使得跨平台的数据交换更加简单和高效。 #### 2. 安装与环境配置 要使用 Protobuf,首先需要安装 `protoc` 编译器。可以通过以下命令安装: ```bash # 下载并解压 protoc 二进制文件 wget https://github.com/protocolbuffers/protobuf/releases/download/v3.21.4/protoc-3.21.4-linux-x86_64.zip unzip protoc-3.21.4-linux-x86_64.zip -d protoc3 sudo mv protoc3/bin/* /usr/local/bin/ sudo mv protoc3/include/* /usr/local/include/ ``` 确保 `protoc` 已正确安装后,可以运行以下命令验证版本: ```bash protoc --version ``` #### 3. 定义 `.proto` 文件 `.proto` 文件是 Protobuf 的核心,用于定义消息结构。例如,以下是一个简单的 `.proto` 文件示例: ```proto syntax = "proto3"; // 指定语法版本 package tutorial; message Person { string name = 1; int32 id = 2; string email = 3; enum PhoneType { MOBILE = 0; HOME = 1; WORK = 2; } message PhoneNumber { string number = 1; PhoneType type = 2; } repeated PhoneNumber phones = 4; } ``` 上述代码定义了一个 `Person` 消息类型,包含姓名、ID、电子邮件和电话号码列表。 #### 4. 生成代码 使用 `protoc` 编译器将 `.proto` 文件转换为目标语言的代码。例如,生成 Python 代码: ```bash protoc --python_out=./ person.proto ``` 这将在当前目录下生成一个 `person_pb2.py` 文件,其中包含 `Person` 消息类型的类定义。 #### 5. 数据序列化与反序列化 以下是一个 Python 示例,展示如何使用生成的代码进行数据的序列化和反序列化: ```python import person_pb2 # 创建一个 Person 对象 person = person_pb2.Person() person.name = "Alice" person.id = 123 person.email = "alice@example.com" # 添加电话号码 phone = person.phones.add() phone.number = "123-456-7890" phone.type = person_pb2.Person.PhoneType.MOBILE # 序列化为字节流 serialized_data = person.SerializeToString() # 反序列化为对象 new_person = person_pb2.Person() new_person.ParseFromString(serialized_data) print(new_person.name) # 输出: Alice ``` #### 6. 文档生成工具 Protobuf 支持使用工具如 `protoc-gen-doc` 自动生成文档,便于维护大型消息定义集。例如,生成 HTML 文档: ```bash protoc --plugin=protoc-gen-doc=path/to/protoc-gen-doc \ --doc_out=./docs \ --doc_opt=html,index.html \ person.proto ``` #### 7. 历史背景 Protobuf 的历史可以追溯到 Google 的内部开发。最初开源时,它实际上是 Google 的第二个语言版本,因此被称为 `proto2`[^2]。目前,Protobuf 提供了两个主要版本:`proto2` 和 `proto3`,后者更简洁且兼容性更强。 #### 8. Python 类型检查支持 对于 Python 开发者,`mypy-protobuf` 插件可以帮助将 Protobuf 消息类型集成到类型注解中,从而增强代码的静态检查能力[^3]。例如: ```python from typing import List import person_pb2 def process_person(person: person_pb2.Person) -> List[str]: return [phone.number for phone in person.phones] ``` --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值