etcd网络层(二)——pipeline通道实现

【Coze】在Coze平台使用源码创建工作流 Coze平台提供低代码工作流搭建功能,支持通过图形化界面快速构建自动化任务流程。用户可通过资源库创建工作流,导入JSON配置生成节点结构,连接起始节点并配置输入/输出字段(需定义数据类型)。平台提供试运行功能验证流程执行,支持可视化调试与发布上线。该方案适用于快速部署标准化业务逻辑,实现端到端的自动化处理。 阅读详情

一、pipeline结构体

 

pipeline通道主要负责传递快照数据

pipeline结构体及相关字段如下:

type pipeline struct {

       peerID types.ID   //该pipeline对应节点的ID



       tr     *Transport  //关联的rafthttp.Transport实例

       picker *urlPicker  //用于选择可用的url

       status *peerStatus  //当前peer的状态

       raft   Raft   //底层的raft实例

       errorc chan error

       // deprecate when we depercate v2 API

       followerStats *stats.FollowerStats



       msgc chan raftpb.Message  //pipeline实例从该通道中获取待发送的消息

       // wait for the handling routines

       wg    sync.WaitGroup   //负责同步多个goroutine结束。每个pipeline默认开启4个goroutine来处理msgc中的消息,必须先关闭这些goroutine,才能真正关闭该pipeline

       stopc chan struct{}

}

 

tr 关联的rafthttp.Transport实例

msgc 该channel中存放待发送到对端的消息(快照消息)

raft 底层的raft实例,用于向底层的raft发送消息(如:快照发送成功或失败等)

 

二、start方法

func (p *pipeline) start() {

       p.stopc = make(chan struct{})

       p.msgc = make(chan raftpb.Message, pipelineBufSize)  //初始化msgc通道,默认缓冲是64个

       p.wg.Add(connPerPipeline)

       for i := 0; i < connPerPipeline; i++ {  //默认开启4个goroutine来处理msgc中待发送的消息

              go p.handle()

       }



       if p.tr != nil && p.tr.Logger != nil {

              p.tr.Logger.Info(

                     "started HTTP pipelining with remote peer",

                     zap.String("local-member-id", p.tr.ID.String()),

                     zap.String("remote-peer-id", p.peerID.String()),

              )

       } else {

              plog.Infof("started HTTP pipelining with peer %s", p.peerID)

       }

}

msgc通道的默认缓冲是64个,默认开启4个goroutine来处理msgc中待发送的消息,并将消息发送给对端节点。

 

handle方法处理msgc中待发送的消息

func (p *pipeline) handle() {

       defer p.wg.Done()



       for {

              select {

              case m := <-p.msgc:  //获取待发送的MsgSnap类型的消息

                     start := time.Now()

                     err := p.post(pbutil.MustMarshal(&m))  //将消息序列化,然后创建HTTP请求并发送出去

                     end := time.Now()



                     if err != nil {

                            //通知不可达

                            p.status.deactivate(failureType{source: pipelineMsg, action: "write"}, err.Error())



                            if m.Type == raftpb.MsgApp && p.followerStats != nil {

                                   p.followerStats.Fail()

                            }

                            p.raft.ReportUnreachable(m.To)  //通知底层的etcd-raft模块,当前节点与指定的节点无法连通

                            if isMsgSnap(m) {  //快照数据则向状态机报告发送失败

                                   p.raft.ReportSnapshot(m.To, raft.SnapshotFailure)

                            }

                            sentFailures.WithLabelValues(types.ID(m.To).String()).Inc()

                            continue

                     }



                     p.status.activate()  //连接状态为连通active

                     if m.Type == raftpb.MsgApp && p.followerStats != nil {

                            p.followerStats.Succ(end.Sub(start))

                     }

                     if isMsgSnap(m) {  //向底层raft-node状态机发送成功的消息

                            p.raft.ReportSnapshot(m.To, raft.SnapshotFinish)

                     }

                     sentBytes.WithLabelValues(types.ID(m.To).String()).Add(float64(m.Size()))

              case <-p.stopc:

                     return

              }

       }

}

 

循环处理msgc通道中待发送的消息,然后调用pipeline.post()方法将其发送出去,发送结束之后会调用底层的Raft接口的响应方法报告发送结果。

从handle方法中我们看到,当收到待发送的MsgSnap类型的消息后,调用post方法,使用HTTP POST的请求将消息发送出去。如果发送失败,则通知底层的raft模块,该消息发送失败。如果发送成功则会将当前peer的status设为active,并通知底层的raft模块,该消息发送成功。

func (p *pipeline) post(data []byte) (err error) {

       u := p.picker.pick()  //获取对端暴露的url地址

       //创建HTTP POST请求的Request

       req := createPostRequest(u, RaftPrefix, bytes.NewBuffer(data), "application/protobuf", p.tr.URLs, p.tr.ID, p.tr.ClusterID)



       done := make(chan struct{}, 1)  //通知下面的goroutine请求是否已经发送完成

       ctx, cancel := context.WithCancel(context.Background())

       req = req.WithContext(ctx)

       go func() {  //该goroutine主要用于监听请求是否需要取消

              select {

              case <-done:

              case <-p.stopc:  //如果请求过程中,pipeline被关闭,则取消该请求

                     waitSchedule()

                     cancel()  //取消请求

              }

       }()



       resp, err := p.tr.pipelineRt.RoundTrip(req)  //发送上述HTTP POST请求,并获取到对应的的响应

       done <- struct{}{}  //通知上述goroutine,请求已经发送完毕

       if err != nil {

              p.picker.unreachable(u)

              return err

       }

       b, err := ioutil.ReadAll(resp.Body)  //读取HTTP Response.Body内容

       if err != nil {

              p.picker.unreachable(u)  //出现异常则将该URL标识为不可用

              return err

       }

       resp.Body.Close()



       err = checkPostResponse(resp, b, req, p.peerID)  //检测响应的内容

       if err != nil {

              p.picker.unreachable(u)

              // errMemberRemoved is a critical error since a removed member should

              // always be stopped. So we use reportCriticalError to report it to errorc.

              if err == errMemberRemoved {

                     reportCriticalError(err, p.errorc)

              }

              return err

       }



       return nil

}

 

post方法使用HTTP POST请求将快照数据发送给对端HTTP服务器,如果发送成功则返回nil,否则返回error。

以上就是pipeline的常用方法,我看到pipeline通道主要是通过HTTP POST的方式发送快照数据给对端。

线性代数 --- 置换矩阵 (Permutation matrix) 置换矩阵 - permutation matrix 阅读详情

相关推荐

海康威视摄像头CVE-2017-7921漏洞复现:从零到一的实战指南(含解密工具下载)

本文详细解析了海康威视摄像头CVE-2017-7921漏洞的技术原理与复现方法,提供从环境搭建到实战利用的完整指南。通过认证绕过漏洞,攻击者可获取敏感信息并执行高权限操作,文章还包含解密工具下载与防御建议,助力安全研究人员深入理解物联网设备安全风险。

weixin_29325515的博客 817

etcd系列-----raft网络层实现之rafthttp模块

待续

cyq6239075的博客 2204

准静态电磁场

叠加法 缺点:对于连续分布的电荷,叠加法的计算比较困难 虚位移法 概念 广义坐标:确实系统中导体形状、尺寸与位置的一组独立几何量。 广义力:企图改变某一广义坐标的力。 功:广义力乘上由它引起的广义坐标的改变量。 公式 ...

qq_35912930的博客 1862

Netty详解(三):Pipeline介绍

Pipeline是一条Netty管道流水线,一条管道需要很多Handler处理器来处理业务。Netty的业务处理器流水线ChannelPipeline是基于责任链设计模式(Chain of Responsibility)来设计的,内部是一个双向链表结构,能够支持动态地添加和删除Handler业务处理器。

在都市的雨幕下找寻自我 1521

人工智能训练师认证教程(5)使用MONAI进行医学影像分析的完整指南

本文介绍了使用MONAI框架进行医学影像分析的全流程。首先详细说明了环境搭建步骤,包括PyTorch和MONAI的安装配置。然后以肺部CT 3D分割为例,分步骤讲解了数据准备与预处理、3D UNet模型构建、训练配置(DiceLoss损失函数、Adam优化器等)以及训练验证循环的实现。文章还包含推理可视化方法和模型导出为ONNX格式的部署方案,并强调了医学影像分析中的数据格式适配、强度归一化、显存优化等关键注意事项。最后指出MONAI的医学专用组件可大幅简化开发流程,建议后续可探索SwinUNETR等进阶方

华为开发者布道师,天府英才计划,致力于大数据+AI 的应用创新,助力企业与个人AI创新赋能。 1216

【数学基础】基于欧拉角表达的旋转顺序

欧拉角旋转顺序

FalschxMico 1385

Golang Http RoundTrip解析

概要 RoundTrip是发送和接收一次http请求的底层实现逻辑 我们可以从中学习到 1、如何去实现一个长链接 2、如果去提升性能 3、如何考虑完备各种边界情况 4、http协议 请求和连接的关系 一个请求肯定会使用一个或者多个连接,通常是一个,但如果异常情况,如刚好连接在使用过程中失效了,则不排除使用多个连接 一个连接可以在一次请求后就丢弃(关闭),但是对于长链接的情况,连接可以被放回到闲置连接池中,这样后续的请求到来时,就可以不必再次创建新的连接,而是复用之前的连接。要是到tcp的三

zhanglehes的专栏 5701

Docker 实战:使用 Docker Desktop 在 MacOS 上安装 Docker

在这采用 Docker Desktop 在 Mac 上来安装 Docker。Docker Desktop 是 Docker 的管理桌面 IDE,提供了一个直观的GUI(图形用户界面),允许您直接在本机上管理容器、应用程序以及镜像。适用于 Mac、Linux 以及 Windows 环境,允许您构建、共享和运行容器化应用程序和微服务。Docker Desktop 可以大大降低在复杂配置上的时间,因此您可以专注于编写代码。它负责端口映射、文件系统问题和其他默认设置,并定期更新 Bug 修复和安全更新。

SmartSi 8012

etcd:日志分析

服务的运行状态、集群通信、数据存储等情况,定位服务启动、集群成员管理、数据读写及存储相关的故障或潜在问题。若要深入排查,可结合具体报错(图中未明显看到报错,多是 info 级别的正常流程日志 )、业务异常表现(如 Kubernetes 集群配置同步异常 ),聚焦对应环节的日志细节进一步分析。总体来看,这些日志能帮助运维人员监控。

喝醉酒的小白 960

Unreal5从入门到精通之Landscape地形系统

虚幻引擎 5 (UE5) 能够利用其强大的地形编辑工具套件创建大规模的地形世界。使用地形工具可以创建身临其境的户外地形,这些地形经过优化,可在多种不同设备上保持可播放的帧速率。

TxNet 4151

点云语义分割:RandLANet模型推理C++部署(2)

一、数据读取及预处理 二、模型推理 三、结果保存

zhaoguanhua的博客 3801

实例解读丨关于GaussDB ETCD服务异常

本文通过对ETCD服务异常问题分析,代码展示解决方案。

华为云官方博客 2192

UE实现贴地线(SurfaceLine)效果

UnrealEngine实现贴地线效果

专注GIS开发 4573

云服务器搭建的网站超时,Go中http超时问题的排查及解决方法

Go中http超时问题的排查及解决方法发布时间:2020-10-05 02:13:05来源:脚本之家阅读:126作者:蘑菇先生背景最新有同事反馈,服务间有调用超时的现象,在业务高峰期发生的概率和次数比较高。从日志中调用关系来看,有2个调用链经常发生超时问题。问题1: A服务使用 http1.1 发送请求到 B 服务超时。问题2: A服务使用一个轻量级http-sdk(内部http2.0) 发送请求...

weixin_35638129的博客 968

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

ETCD系列之三:网络层实现

ETCD系列之三:网络层实现 1. 概述 在理清ETCD的各个模块的实现细节后,方便线上运维,理解各种参数组合的意义。本文先从网络层入手,后续文章会依次介绍各个模块的实现。 本文将着重介绍ETCD服务的网络层实现细节。在目前的实现中,ETCD通过HTTP协议对外提供服务,同样通过HTTP协议实现集群节点间数据交互。 网络层的主要功能是实现了服务器与客户端(能发出HTTP请求的各种程序)消息交互,以及集群内部各节点之间的消息交互。 2. ETCD-SERVER整体架构 ETCD-SERVER 大体

技术心得总结 748

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

etcd 部署集群 etcd 网络层实现 etcd 是什么

想必很多人都知道 ZooKeeper, 通常用作配置共享和服务发现。和它类似, etcd 算是一个非常优秀的后起之秀了。本文重点不在描述他们之间的不同点。在云计算大行其道的今天, etcd 有很多典型的使用场景。常言道, 熟悉一个系统先从部署开始。本文接下来将描述, 如何部署 etcd 集群。通过静态配置方式启动通过服务发现方式启动在部署集群之前, 我们需要考虑集群需要配置多少个节点。这是一个重要的考量, 不得忽略。在理清 etcd 的各个模块的实现细节后, 方便线上运维, 理解各种参数组合的意义。

云满笔记 1262

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

etcd网络层源码分析(四)——pipeline通道实现

etcd网络层(五)——pipeline接口实现

高思维深思考的博客 1336

etcd网络层(四)——Peer接口的实现

peer结构体是Peer接口的实现,peer是远程raft节点的代表,本地raft节点通过peer给远程raft节点发送消息 每个peer有两个发送消息的基本机制:stream和pipeline stream是长连接,它始终可以传输消息。除了通常的stream,还有优化的stream用于leader发送msgApp消息,因为msgApp占了大部分的消息 pipeline是一系列客户端发送请求...

skh2015java的博客 1554

etcd网络层源码分析(一)

etcdserver.NewServer //轻量级,用了不会关闭 var err error t.streamRt, err = newStreamRoundTripper(t.TLSInfo, t.DialTimeout) if err != nil { return err } //对于大的数据pipeline,用了立刻关闭的入口 t.pipelineRt, err = NewRoundTripper(t.TLSInfo, t.DialTimeout) if err != nil { retur

高思维深思考的博客 504

ETCD数据库源码分析——集群间网络层服务端RaftHandler

在ETCD数据库源码分析——集群间网络层服务端接口文章中,启动http.Server时会通过rafthttp.Transporter.Handler()方法为指定的URL路径添加相应Handler实例,如下图所示。streamHandler负责处理Stream消息通道上的请求。pipelineHandler负责处理Pipeline通道上的请求,snapHandler负责处理Pipeline通道上的请求。 pipelineHandler用于集群间网络层服务端负责处理Pipeline通道上的请求,tr为当前pi

肥叔菌的博客 945

ETCD介绍—etcd概念及原理方面分析

etcd作为一个受到ZooKeeper与doozer启发而催生的项目,除了拥有与之类似的功能外,更专注于以下四点。 简单:基于HTTP+JSON的API让你用curl就可以轻松使用。 安全:可选SSL客户认证机制。 快速:每个实例每秒支持一千次写操作。 可信:使用Raft算法充分实现了分布式。 分布式系统中的数据分为控制数据和应用数据。etcd的使用场景默认处理的数据都是控制数据,对于应用数据,只推荐数据量很小,但是更新访问频繁的情况。应用场景有如下几类:场景一:服务发现(Service Discovery

chang_ge的博客 1115

etcd网络通讯层(一)——rafthttp中重要的接口

前面我们提到etcd-raft模块,etcd-raft模块并未提供网络层的相关实现,而是将待发送的消息封装进Ready实例返回给上层模块,然后由上层模块决定如何将这些消息发送到集群中的其他节点。etcd将网络层的相关实现单独封装成一个模块,也就是etcd-rafthttp模块。从而降低了etcd-raft和etcd-rafthttp之间的耦合,提高程序的可扩展性。 et...

skh2015java的博客 1842

etcd 启动分析_ETCD相关介绍--整体概念及原理方面

etcd作为一个受到ZooKeeper与doozer启发而催生的项目,除了拥有与之类似的功能外,更专注于以下四点。简单:基于HTTP+JSON的API让你用curl就可以轻松使用。安全:可选SSL客户认证机制。快速:每个实例每秒支持一千次写操作。可信:使用Raft算法充分实现了分布式。分布式系统中的数据分为控制数据和应用数据。etcd的使用场景默认处理的数据都是控制数据,对于应用数据,只推荐数据量...

weixin_39925413的博客 564

ETCD是什么

1. ETCD是什么 ETCD是用于共享配置和服务发现的分布式,一致性的KV存储系统。该项目目前最新稳定版本为2.3.0. 具体信息请参考[项目首页]和[Github]。ETCD是CoreOS公司发起的一个开源项目,授权协议为Apache。 提供配置共享和服务发现的系统比较多,其中最为大家熟知的是[Zookeeper](后文简称ZK),而ETCD可以算得上是后起之秀了。在项目实现,一致性协议易理解性,运维,安全等多个维度上,ETCD相比Zookeeper都占据优势。 2. ETCD vs ZK

weixin_57763462的博客 481

ETCD结构、特点及和zookeeper对比

文章目录etcd 是什么etcd结构简介etcd 数据通道etcd通信架构应用场景和ZK对比 etcd 是什么 etcd 这个名字由两部分组成: etc 和 d ,即 UNIX/Linux操作系统的“/etc” 目录和分布式( distributed )首字母的“d ” 。我们都知道,/etc目录一般用于存 储 UNIX/Linux 操作系统的配置信息 因此etc和d合起来就是一个分布式的/etc 目录。etcd 的寓意是为大规模分布式系统存储配置信息。 etcd 的官方定义如下: A highly-ava

zhangxm_qz的博客 3881

深入浅出之etcd

分布式系统的难点在于“部分失败”。部分失败指信息在网络的两个节点之间传送出现了故障,发送者不知道接收者是否收到了这个信息,并且导致这种故障的原因很多,接收者也可能在发生网络错误之前收到了信息,也可能没收到。 现在的键值数据库基本都是分布式的,Zookeeper是其中久负盛名的一个,它有很成熟,丰富的特性,但它有自己的缺点,具体如下: 复杂:ZooKeeper部署维护比较复杂,管理员必须掌握一系列知识,Zookeeper使用的Pzxos强一致性算法不易于理解 Zookeeper仅提供Java和C两种接口,另

不务正业随手记 1151
上一篇: 文件句柄和文件描述符的区别和理解
下一篇: etcd网络层(三)——stream实现过程
思维的深度
博客等级 码龄11年 2万+粉丝 391原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值