gRPC - Google远程过程调用(Google Remote Procedure Call,gRPC)

揭秘gRPC:高性能RPC框架解析 gRPC是一种高性能开源RPC框架,基于HTTP/2协议,支持多种编程语言。它采用Protocol Buffers作为默认数据格式,提供四种通信模式:一元RPC、服务器流式、客户端流式和双向流式。相比REST,gRPC具有更高的性能(二进制编码)、更低的延迟和原生流式支持,但浏览器兼容性较差。在C++中,gRPC可通过同步/异步API实现各类RPC调用,支持TLS加密、元数据传递和负载均衡。性能测试表明,gRPC在序列化速度和网络传输效率上显著优于JSON,特别适合微服务间通信等高性能场景。 阅读详情

什么是gRPC?
Google远程过程调用(Google Remote Procedure Call,gRPC)是基于HTTP 2.0传输层协议承载的高性能开源RPC软件框架,为管理和配置网络设备提供了一种API接口设计的方法。gRPC提供了多种编程语言,如C、Java、golong、python等。
gRPC可以作为数据传输协议与Telemetry技术配合使用,可实时、高速、精确的监控网络设备的运行状态。此外,网络设备提供了一种基于gRPC方式来管理设备的方法,包括配置、查询和能力获取三种方法。这些方法是通过设备和采集器对接,实现采集设备数据的功能。

gRPC VS REST
REST(Representational State Transfer)表征状态转移,是一种软件架构风格,用于指导WEB架构的设计和开发。REST同样为管理和配置网络设备提供了一种API接口设计的方法。gRPC与REST两者的主要差异如下:

REST遵循基于HTTP 1.1的请求-响应通信模型,而gRPC遵循基于HTTP 2.0的客户端-响应通信模型。
HTTP 2.0相对于HTTP 1.1,在速度上有着绝对的优势。虽然REST也可以基于HTTP 2.0进行数据传输,但是为了兼容HTTP 1.1方式,导致其没有充分利用HTTP 2.0的优势。

几乎所有的浏览器都支持REST,而支持gRPC的浏览器非常有限。这是REST相对于gRPC的主要优势。
REST使用JSON或XML编码格式承载数据,而gRPC默认使用ProtoBuf(Protocol Buffers)编码格式承载数据。
ProtoBuf是二进制的,是以二进制数据进行传输,而JSON或XML编码格式以文本形式传输,所以在传输速率上gRPC更具有优势。

REST不提供内置代码生成功能,需要使用Swagger等工具生成API请求代码。而gRPC具有protoc编译器,具有代码生成功能,而且protoc编译器与多种编程语言兼容。

gRPC是如何工作的?
gRPC协议架构
gRPC是一种用于实现RPC API的技术。由于gRPC是开源框架,通信双方都基于该框架进行二次开发,从而使得通信双方聚焦在业务,无需关注由gRPC软件框架实现的底层通信。如下图,DATA部分即为业务层面内容,DATA下面所有的信息都由gRPC进行封装。
在这里插入图片描述

gRPC协议架构
gRPC协议架构
gRPC支持的操作
设备在网络架构里支持Dial-in和Dial-out两种对接模式。

Dial-in模式:设备作为gRPC服务器,采集器作为gRPC客户端。由采集器主动向设备发起gRPC连接并获取需要采集的数据信息或下发配置。Dial-in模式适用于小规模网络和采集器需要向设备下发配置的场景。
Dial-in模式支持以下操作:
Subscribe操作:高速采集设备的接口流量统计、CPU和内存等数据信息。当前仅支持基于Telemetry技术的Subscribe操作。
Get操作:获取设备运行状态和运行配置。当前仅支持基于gNMI(gRPC Network Management Interface)规范的Get操作。
Capabilities操作:获取设备能力数据。当前仅支持基于gNMI规范的Capabilities操作。
Set操作:向设备下发配置。当前仅支持基于gNMI规范的Set操作。
Dial-out模式:设备作为gRPC客户端,采集器作为gRPC服务器。设备主动和采集器建立gRPC连接,将设备上配置的订阅数据推送给采集器。Dial-out模式适用于网络设备较多的情况下,由设备主动向采集器提供设备数据信息。Dial-out模式只支持基于Telemetry技术的Subscribe操作。
gRPC交互过程
如下图,gRPC采用客户端和服务器模型,以网络设备为gRPC客户端,采集器为gRPC服务器为例,说明gRPC的交互过程:

设备在开启gRPC功能后作为gRPC客户端,采集器作为gRPC服务器。
设备会根据应用服务(如订阅的事件)构建对应数据的格式(GPB/JSON),通过ProtoBuf(Protocol Buffers)编写Proto文件。然后,设备与采集器建立gRPC通道,通过gRPC协议向采集器发送请求消息。
采集器收到请求消息后,会通过ProtoBuf解译Proto文件,还原出事先定义好的数据结构,进行业务处理。
采集器处理完数据后,需要使用ProtoBuf重新编译应答数据,通过gRPC协议向设备发送应答消息。
设备收到应答消息后,结束本次的gRPC交互。
简单地说,设备主动和采集器建立gRPC连接,将设备上配置的订阅数据推送给采集器。在整个gRPC交互的过程中,设备和采集器都需要使用ProtoBuf来定义Proto文件。

gRPC交互过程
gRPC交互过程
gRPC的应用
gRPC支持通过Telemetry技术实现订阅功能(Subscribe操作)。Telemetry是一项远程的从物理设备或虚拟设备上高速采集数据的技术。设备通过推模式(Push Mode)周期性地主动向采集器上送设备的接口流量统计、CPU和内存数据等信息。

如下图所示,网络设备和网络管理系统建立gRPC连接后,网络管理系统可以订阅设备上指定模块的数据信息。Telemetry有动态订阅和静态订阅两种方式,动态订阅基于Dial-in模式建立,静态订阅基于Dial-out模式建立。

基于gRPC的Telemetry技术
基于gRPC的Telemetry技术
Telemetry的实现流程:

用户定义Telemetry静态订阅或Telemetry动态订阅。
Telemetry静态订阅:在huawei-grpc-dialout.proto文件中定义。
Telemetry动态订阅:在huawei-grpc-dialin.proto文件中定义。
用户将采集到的信息通过GPB或JSON格式进行编码,在huawei-telemetry.proto文件里定义采样路径、采样时间戳等重要信息。
GPB编码时,huawei-telemetry.proto文件中的encoding字段为Encoding_GPB(值为0),data_gpb字段承载GPB编码格式的采样数据,data_str字段为空。
JSON编码时,huawei-telemetry.proto文件中的encoding字段为Encoding_JSON(值为1),data_str字段承载JSON编码格式的采样数据,data_gpb字段为空。
设备传输数据到采集器,解码数据并分析结果。
huawei-telemetry.proto文件中data_gpb字段内容需要相应的业务proto文件进行解码,由huawei-telemetry.proto文件中的sensor_path字段标识对应哪个具体的业务proto文件,例如,当sensor_path取值为huawei-ifm:ifm/interfaces/interface时,其数据结构定义在huawei-ifm.proto文件中。
当采用纯JSON编码格式(编码层和数据模型层均为JSON编码格式。)时,用户只需要对huawei-grpc-dialout.proto文件或huawei-grpc-dialin.proto文件进行解码。当采用混合JSON编码格式(编码层为GPB编码格式,数据模型层为JSON编码格式。)时,用户只需要对huawei-grpc-dialout.proto文件或huawei-grpc-dialin.proto文件和huawei-telemetry.proto文件进行解码,不需要相应的业务proto文件。

什么是gRPC ProtoBuf?
gRPC ProtoBuf是gRPC协议的接口描述语言,是一种与语言无关、平台无关、扩展性好的用于通信协议、数据存储的序列化结构数据格式。gRPC ProtoBuf编码格式也称为GPB(Google Protocol Buffers)编码格式。GPB提供了一种灵活、高效、自动序列化结构数据的机制。GPB与XML、JSON编码类似,也是一种编码方式,但不同的是,它是一种二进制编码,性能好,效率高。

目前,GPB包括v2和v3两个版本,设备当前支持的GPB版本是v3。

GPB在gRPC的框架中主要有三个作用:

定义数据结构

xxx.proto

syntax = "proto3"; //proto版本定义为v3版本。

message serviceArgs { //消息格式描述。

int64 ReqId = 1; //请求ID。

oneof MessageData {

bytes data = 2; //表示承载GPB编码格式的采样数据。

string data_json = 4; //表示承载JSON编码格式的采样数据。

}

string errors = 3; //产生错误时的描述信息。

}

定义服务接口

xxx.proto

syntax = "proto3"; //proto版本定义为v3版本。

package huawei_dialout; //本包名称为huawei_dialout。

service gRPCDataservice { //服务名称为gRPCDataservice。

rpc dataPublish(stream serviceArgs) returns(stream serviceArgs) {}; //方法为dataPublish,双向流,提供数据推送方法。入参是serviceArgs数据流。

}

通过序列化和反序列化提升传输效率
GPB编码格式的内容只是提供给操作者阅读的,实际上并不会以这种文本形式进行传输,而是以序列化后的二进制数据进行传输。而JSON编码格式则以数据文本形式呈现,传输时也以数据文本形式传输,所以GPB编码格式的传输效率相对JSON、XML编码格式有着天然的优势。

{
// GPB编码
1:"HUAWEI"

2:"s4"

3:"huawei-ifm:ifm/interfaces/interface"

4:46

}
// JSON编码
{

"node_id_str":"HUAWEI",

"subscription_id_str":"s4",

"sensor_path":"huawei-ifm:ifm/interfaces/interface",

"collection_id":46,

}

什么是Proto文件?
gRPC协议用GPB编码格式承载数据,GPB编码格式的文件名后缀为.proto,即为Proto文件。

GPB通过“.proto”文件描述编码使用的字典,即数据结构描述。采集器可以利用Protoc等工具软件根据“.proto”文件自动生成代码(例如java代码),然后用户基于自动生成的代码进行二次开发对获取到的数据进行解析,从而实现与设备的数据对接。

Proto文件包含公共Proto文件和业务数据Proto文件。

公共Proto文件
Telemetry提供3个公共的proto文件,支持数据上送和订阅功能:

huawei-grpc-dialout.proto文件:定义了设备作为gRPC客户端对外推送数据。
huawei-grpc-dialin.proto文件:定义了设备作为gRPC服务端对外推送数据。
huawei-telemetry.proto文件:定义了Telemetry采样数据上送时的数据头,包括采样路径,采样时间戳等重要信息。
业务数据Proto文件
设备提供多个业务数据Proto文件,用于定义具体业务数据的GPB编码,采集器侧需要根据实际要监控的业务选择对应proto文件。

一个简单的Proto文件示例
Telemetry静态订阅功能:设备作为gRPC客户端,采集器作为gRPC服务端,由设备主动发起到采集器的连接,进行数据采集上送。

表1-1 proto文件内容

huawei-grpc-dialout.proto

syntax = "proto3"; //proto版本定义为v3版本。

package huawei_dialout; //本包名称为huawei_dialout。

service gRPCDataservice { //服务名称为gRPCDataservice。

rpc dataPublish(stream serviceArgs) returns(stream serviceArgs) {}; //方法为dataPublish,双向流,提供数据推送方法。入参是serviceArgs数据流。

}

message serviceArgs { //消息格式描述。

int64 ReqId = 1; //请求ID。

oneof MessageData {

bytes data = 2; //表示承载GPB编码格式的采样数据。

string data_json = 4; //表示承载JSON编码格式的采样数据。

}

string errors = 3; //产生错误时的描述信息。

}

https://info.support.huawei.com/info-finder/encyclopedia/zh/gRPC.html

google grpc 入门 以及如何维持grpc长连接 grpc 长连接 阅读详情

相关推荐

谷歌 grpc从搭建到使用详解

grpc 从搭建到使用

congge 3287

深入剖析gRPC:Google开源的高性能RPC框架

1.背景介绍 在本篇文章中,我们将深入剖析gRPC,Google开源的高性能RPC框架。gRPC是一种基于HTTP/2的高性能、可扩展的RPC框架,它使用Protocol Buffers作为接口定义语言,可以在多种编程语言之间实现无缝通信。 1. 背景介绍 gRPC的核心设计理念是:通过使用HTTP/2作为传输协议,实现高效、可扩展的RPC通信。HTTP/2的优点在于支持多路复用、流控制、压...

AI天才研究院 1584

深入理解分布式技术 - RPC (Remote Procedure Call)

文章目录What's RPC What’s RPC RPC(Remote Procedure Call)是一种进程间通信方式. 它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议. RPC 允许程序调用另一个地址空间的过程或函数,而不用程序员显式编码这个远程调用的细节。即无论是调用本地接口/服务的还是远程的接口/服务,本质上编写的调用代码基本相同。 比如两台服务器 A、B,一个应用部署在 A 服务器上,想要调用 B 服务器上应用提供的函数或者方法,由于不在一个内存空间,则不能直

小工匠 2万+

gRPC-谷歌高性能RPC框架

进程间通信,通常是指一个应用实例调用另外一个应用实例所提供的服务,而这两个应用都运行在自己独立的进程中,通过网络彼此交换信息的过程。然后用maven生成代码,跟服务端一样,如果是同样的语言进行开发,直接从服务端复制过去也可以。生成的代码在,target 目录对应配置的包下,需要将生成的java代码,移动到src下。引入maven 完成后,在代码的main目录下,创建proto文件夹(约定)。打开IDEA,进入插件市场,搜索protobuf,如下图所示,安装即可。

宋小黑的博客 717

架构师之路 — 分布式系统 — RPC 远程过程调用

目录 文章目录目录RPCRPC 架构成熟的开演 RPC 框架 RPC RPC(Remote Procedure Call,远程过程调用)是一种计算机程序通信方式,允许运行于一台计算机中的程序调用运行于另一台计算机种的子程序。如果涉及的程序采用了面向对象编程,那么 RPC 亦可称作 “远程函数/方法调用”。 RPC 是一种架构设计理念,不仅仅包含了实现通讯的互联网协议,还包括实现框架,不仅要支持通讯,还要支持序列化/反序列化、消息通知等功能。 简而言之,RPC 就是实现不同服务之间的相互调用的方式,这个不同服

烟云的计算 2512

广告推荐算法 - 学习笔记(持续更新中)

本篇博客,是我用来记录学习广告推荐算法的一些笔记和总结。王喆:"深度"学习计算广告计算广告系统的核心目标是通过数据、算法和技术,在合适的场景下,将最相关的广告精准推送给目标用户,同时实现广告主媒体平台和用户之间的多方利益最大化。广告主:需求方核心目标:通过精准投放广告,最大化转化(如点击、购买)并控制成本,提升投资回报率(ROI)。关键行为:广告创建,定向设置,预算与出价策略,效果监控媒体平台:供给方核心目标:最大化广告收入,同时保持用户体验以避免用户流失。

qq_39748832的博客 2201

gRPC(Google Remote Procedure Call Protocol)谷歌远程过程调用协议

gPRC是由google开源的一个高性能的RPC框架。Stubby Google内部的RPC,演化而来的,2015年正式开源。云原生时代是一个RPC标准。

小丁的博客 575

Angular 相关的知识点和项目汇总

Angular 知识点和项目汇总

weixin_45428910的博客 582

gRPC 是啥

Google Remote Procedure Call

lydstory123的专栏 385

NAT反向代理技术的实现(外网访问内网)

NAT反向代理技术的实现(外网访问内网)(版权所有,引用 请联系作者,注明出处) NAT技术是网络中的重要应用之一。当有一个场景:内网搭建了服务器,需要外网访问时,可以借助NAT映射来实现。如:单位建立了一个Web服务器,我们希望在员工回家之后,依然可以访问到它,那怎么实现呢? 下面的拓扑图,就用来示范这个应用反面场景的实现过程。 一、题目要求: 地址配置如图。使用静态路由: 1、配置右侧交换机2950T,实现单臂路由; 2、配置路由使网络连通; 3、配置NAT访问,实现外网对风网服务器的

joyousmime的博客 8491

AI基础入门(大模型基础篇)——技术视角:你应该知道的LLM基础知识

本文从技术视角解析了大模型的工作原理,主要介绍了三个核心概念:Token、温度和Embedding。首先,大模型通过逐个添加Token来生成文本,Token数量直接影响上下文窗口大小和计费标准。其次,通过引入温度参数控制随机性,温度越高输出越多样化。最后,解释了字符串如何通过One-Hot编码和神经网络压缩转化为向量形式的Embedding,这是AI处理各类输入的基础。这些概念对理解大模型应用开发至关重要,Token决定处理能力,温度影响输出风格,Embedding则是信息转换的关键步骤。

小志的博客 1510

RPC(Remote Procedure Call Protocol)远程过程调用协议框架:gRPC

这里面的 build 其实是为了安装 protobuf 插件,里面其实有 2 个插件我们需要用到,分别为 protobuf:compile 和 protobuf:compile-javanano,当我们直接执行时,会生成左侧文件,其中 GreeterGrpc 提供调用接口,Hello 开头的文件功能主要是对数据进行序列化,然后处理入参和返回值。由于是开源框架,通信的双方可以进行二次开发,所以客户端和服务器端之间的通信会更加专注于业务层面的内容,减少了对由 gRPC 框架实现的底层通信的关注。

u013250861的博客 858

Qt Creator 下载和安装

在线安装程序是一个小型的安装程序,它将在您的计算机上下载和安装 Qt Creator。离线安装程序是一个较大的安装包,您可以将其保存在本地,并在没有网络连接的情况下安装 Qt Creator。在 Qt 官方网站上,您可以找到 Qt Creator 的下载页面。Qt Creator 是一款跨平台的集成开发环境(IDE),用于开发基于 Qt 框架的应用程序。在这一步中,您可以选择是否安装 Qt Creator 的附加组件。一旦您完成了组件的选择,安装程序将开始将 Qt Creator 安装到您的计算机上。

HackLogic的博客 6824

RPC协议(Remote Procedure Call)和gRPC协议(Google Remote Procedure Call)区别(传统RPC:跨平台、兼容性好;gRPC:内部通信,低延迟)

gRPC是传统RPC的现代化升级版本,结合了HTTP/2和Protobuf的优势,适用于高性能、低延迟的分布式系统(如微服务)。而传统RPC更适用于开放API或对灵活性要求较高的场景。选择时需根据具体需求权衡性能、开发效率和场景适配性。

Dontla的博客 1280

29、机器人动力学中的欧拉 - 拉格朗日与哈密顿力学

本文深入探讨了机器人动力学中的欧拉-拉格朗日与哈密顿力学框架,涵盖向量流形上的辛结构、哈密顿方程的几何代数表述、泊松括号与积分不变量等核心概念。文章详细推导了机电系统中拉格朗日量与哈密顿量的构建方法,并结合牛顿-欧拉算法给出了局部哈密顿量和动量导数的迭代计算流程,适用于多关节机器人的动力学建模与控制设计。通过应用案例展示了理论在双关节机器人手臂中的实际运用,最后展望了其在优化控制、鲁棒性提升及智能融合方向的潜力。

perl8的博客 130

Python 爬虫实战:爬取电商平台商品信息(价格 / 销量 / 评价)

摘要:本文详细介绍基于Python的电商商品信息爬取技术方案,以京东商品详情页为例,对比分析静态(BeautifulSoup)和动态(Selenium)两种爬取方式的实现逻辑。静态爬取适合获取基础信息,而动态爬取可解决JS渲染数据的获取问题。文章包含完整的代码实现、反爬规避策略及数据存储方案,涵盖商品名称、价格、销量、评价等核心数据提取。同时强调爬虫的合规使用,提供扩展方向建议,为电商数据采集提供实用技术参考。

2503_91057718的博客 2026

gRPC(Google Remote Procedure Call)的用法介绍文档

gRPC(Google Remote Procedure Call)是由Google开发的一个高效、开源的远程过程调用(RPC)框架,而不是gIPC。它支持多种编程语言,Go语言就是其中之一。gRPC主要功能包括高效的序列化与反序列化、双向流、负载均衡、身份验证、以及中继和时间管理等特性。它适用于构建高性能、跨平台的微服务系统。

全栈工程师 422

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

RPC(Remote Procedure Call)远程过程调用

RPC简单介绍

weixin_43794931的博客 798

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

RPC(Remote Procedure Call)

文章目录General Viewicethriftdubbogrpc General View ice thrift dubbo grpc

yanggleyang的博客 491

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

RPC:远程过程调用协议(Remote Procedure Call protocol)

 远程过程调用(RPC)是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC 协议假定某些传输协议的存在,如 TCP 或 UDP,为通信程序之间携带信息数据。在 OSI 网络通信模型中,RPC 跨越了传输层和应用层。RPC 使得开发包括网络分布式多程序在内的应用程序更加容易。RPC 采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。首

tony的专栏 658

grpc调用_避免使用套接字远程过程调用以及如何使用grpc进行程序通信

grpc调用As we all know, it’s common to use sockets to create a communication channel between 2 programs that need to communicate over the internet. When doing so, our programs end up looking messy, with...

weixin_26755331的博客 440

【SpringBoot框架篇】37.使用gRPC实现远程服务调用

RPC(Remote Procedure Call)是一种用于实现分布式系统中不同节点之间通信的协议。它允许一个节点(称为客户端)调用另一个节点(称为服务器)上的远程方法,就像调用本地方法一样。RPC的目标是隐藏底层通信细节,使得远程调用过程对开发者透明。在RPC中,客户端通过发送请求消息给服务器来调用远程方法,服务器接收到请求后执行相应的方法,并将结果返回给客户端。RPC可以跨越不同的网络和操作系统,使得分布式系统中的不同节点能够进行高效的通信和协作。

皓亮君的博客 5275

grpc

tensorflow学习笔记(十九):分布式Tensorflow 2016年11月12日 15:14:33 ke1th 阅读数:19962更多 个人分类: tensorflow 所属专栏: tensorflow学习笔记 版权声明:本文为博主原创文章,转载请注明出处。 https://blog.youkuaiyun.com/u012436149/article/details/53140869 最近...

lusic01的专栏 938

RPC 发展史

“Does developer convenience really trump correctness, scalability, performance, separation of ...

goodspeeed的专栏 1430

微服务架构从入门到精通:gh_mirrors/blog37/blog的gRPC与protobuf实践指南

微服务架构是现代软件开发的重要趋势,而gRPC与protobuf作为高效通信的核心技术,在分布式系统中扮演着关键角色。本文将基于gh_mirrors/blog37/blog项目的实际经验,为您详细解析如何从零开始构建基于gRPC和protobuf的微服务系统。通过这个完整的实践指南,您将掌握微服务架构的核心概念、gRPC的高效通信机制以及protobuf的数据序列化技术。🚀 ## 📊 为什么

gitblog_00353的博客 671
上一篇: Node.js多版本管理切换
下一篇: ReentrantLock与Condition
小小白兔兔
博客等级 码龄7年 46粉丝 207原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值