etcd网络层(四)——Peer接口的实现

Kubernetes etcd未授权访问漏洞:原理、危害与立体化安全加固实战 在分布式系统中,键值存储是维护配置和状态的核心组件,其安全性直接关系到整个架构的稳定。etcd作为Kubernetes集群的“大脑”,默认配置下客户端认证与传输加密往往处于关闭状态,这构成了严重的安全盲区。攻击者一旦通过网络访问到未受保护的2379端口,便能直接读写集群的元数据,其技术危害在于可窃取Secret中的敏感凭证、篡改集群状态,甚至实现完全的权限接管。这种漏洞常出现在公网暴露、内网横向移动等场景,对云原生环境构成实质性威胁。针对etcd未授权访问,必须构建从网络隔离、TLS双向认证到RBAC与审计 阅读详情

peer结构体是Peer接口的实现,peer是远程raft节点的代表,本地raft节点通过peer给远程raft节点发送消息

每个peer有两个发送消息的基本机制:stream和pipeline

stream是长连接,它始终可以传输消息。除了通常的stream,还有优化的stream用于leader发送msgApp消息,因为msgApp占了大部分的消息

pipeline是一系列客户端发送请求到远程节点,在传输完成后会立即关闭连接,主要负责数据量较大、发送频率较低的消息。如MsgSnap消息等。

 

peer结构体及字段的含义如下:

type peer struct {
	lg *zap.Logger

	localID types.ID   //当前节点ID
	// id of the remote raft peer node
	id types.ID    //该peer实例对应的节点ID,对端ID

	r Raft  //Raft接口,在Raft接口实现的底层封装了etcd-raft模块

	status *peerStatus  //peer的状态

	/*
	每个节点可能提供了多个URL供其他节点正常访问,当其中一个访问失败时,我们应该可以尝试访问另一个。
	urlPicker提供的主要功能就是在这些URL之间进行切换
	*/
	picker *urlPicker

	msgAppV2Writer *streamWriter
	writer         *streamWriter   //负责向Stream消息通道中写消息
	pipeline       *pipeline   //pipeline消息通道
	snapSender     *snapshotSender // snapshot sender to send v3 snapshot messages 负责发送快照数据
	msgAppV2Reader *streamReader
	msgAppReader   *streamReader  //负责从Stream消息通道中读消息

	recvc chan raftpb.Message  //从Stream消息通道中读取到消息之后,会通过该通道将消息交给Raft接口,然后由它返回给底层etcd-raft模块进行处理
	propc chan raftpb.Message //从Stream消息通道中读取到MsgProp类型的消息之后,会通过该通道将MsgApp消息交给Raft接口,然后由它返回给底层的etcd-raft模块进行处理

	mu     sync.Mutex
	paused bool   //是否暂停向其他节点发送消息

	cancel context.CancelFunc // cancel pending works in go routine created by peer.  context的取消函数
	stopc  chan struct{}
}

以上就是peer结构体,peer实现读写分离的方式和对端进行交互。

 

一、peer的创建

  peer的创建过程主要在startPeer函数中

func startPeer(t *Transport, urls types.URLs, peerID types.ID, fs *stats.FollowerStats) *peer {
	//省略日志处理

	status := newPeerStatus(t.Logger, t.ID, peerID)  //创建节点的状态信息  status
	picker := newURLPicker(urls)  //根据节点提供的URL创建urlPicker
	errorc := t.ErrorC
	r := t.Raft //底层的Raft状态及
	pipeline := &pipeline{  //创建pipeline实例
		peerID:        peerID,
		tr:            t,
		picker:        picker,
		status:        status,
		followerStats: fs,
		raft:          r,
		errorc:        errorc,
	}
	pipeline.start()  //启动pipeline

	p := &peer{  //创建peer实例
		lg:             t.Logger,
		localID:        t.ID,
		id:             peerID,
		r:              r,
		status:         status,
		picker:         picker,
		msgAppV2Writer: startStreamWriter(t.Logger, t.ID, peerID, status, fs, r),  //创建并启动streamWriter
		writer:         startStreamWriter(t.Logger, t.ID, peerID, status, fs, r),
		pipeline:       pipeline,
		snapSender:     newSnapshotSender(t, picker, peerID, status),
		recvc:          make(chan raftpb.Message, recvBufSize),  //创建recvc通道
		propc:          make(chan raftpb.Message, maxPendingProposals),   //创建propc通道
		stopc:          make(chan struct{}),
	}


	//启动单独的goroutine,它负责将recvc通道中读取消息,该通道中的消息就是从对端节点发送过来的消息,
	// 然后将读取到的消息交给底层的Raft状态机进行处理
	ctx, cancel := context.WithCancel(context.Background())
	p.cancel = cancel
	go func() {
		for {
			select {
			case mm := <-p.recvc:  //从recvc通道中获取连接上读取到的消息
				if err := r.Process(ctx, mm); err != nil {  //将Message交给底层Raft状态机处理
					if t.Logger != nil {
						t.Logger.Warn("failed to process Raft message", zap.Error(err))
					} else {
						plog.Warningf("failed to process raft message (%v)", err)
					}
				}
			case <-p.stopc:
				return
			}
		}
	}()

	// r.Process might block for processing proposal when there is no leader.
	// Thus propc must be put into a separate routine with recvc to avoid blocking
	// processing other raft messages.
	//在底层的Raft状态机处理MsgProp类型的消息时,可能会阻塞,所以启动单独的goroutine来处理
	go func() {
		for {
			select {
			case mm := <-p.propc:  //从propc通道中获取MsgProp类型的Message
				if err := r.Process(ctx, mm); err != nil {  //将Message交给底层的Raft状态机来处理
					plog.Warningf("failed to process raft message (%v)", err)
				}
			case <-p.stopc:
				return
			}
		}
	}()

	//创建并启动streamReader实例,主要负责从Stream消息通道上读取消息
	p.msgAppV2Reader = &streamReader{
		lg:     t.Logger,
		peerID: peerID,
		typ:    streamTypeMsgAppV2,
		tr:     t,
		picker: picker,
		status: status,
		recvc:  p.recvc,
		propc:  p.propc,
		rl:     rate.NewLimiter(t.DialRetryFrequency, 1),
	}
	p.msgAppReader = &streamReader{
		lg:     t.Logger,
		peerID: peerID,
		typ:    streamTypeMessage,
		tr:     t,
		picker: picker,
		status: status,
		recvc:  p.recvc,
		propc:  p.propc,
		rl:     rate.NewLimiter(t.DialRetryFrequency, 1),
	}

	p.msgAppV2Reader.start()  //V2版本
	p.msgAppReader.start()

	return p
}

status用于记录当且peer的可用性状态

picker从URL列表中获取可用URL的机制

pipeline的创建过程我们前面已经详细介绍,这里就不在累述。

streamWriter和streamReader 上一节也详细介绍过了。

这里看到开启两个协程分别获取p.recvc通道和p.propc通道中的值,并将获取的值通过Process方法 交给底层的raft模块。recvc和propc通道中的值是上节我们讲streamReader的时候从对端节点读取到的消息。

 

二、向对端发送消息

peer的send方法主要用于向对端发送消息。

func (p *peer) send(m raftpb.Message) {
	p.mu.Lock()
	paused := p.paused
	p.mu.Unlock()

	if paused {  //如果暂停则返回
		return
	}
   //根据消息类型选择一个通道去发送消息
	writec, name := p.pick(m)
	select {
	case writec <- m:  //将消息发送到writec通道中,等待发送
	default:
		//如果出现阻塞,则将消息报告给底层Raft状态机,这里会根据消息类型选择合适的报告方法
		p.r.ReportUnreachable(m.To)
		if isMsgSnap(m) {  //如果消息类型的MsgSnap则通知底层的raft-node,当前快照数据发送失败
			p.r.ReportSnapshot(m.To, raft.SnapshotFailure)
		}
		//其他处理省略
	}
}

send主要作用是向对端节点发送消息,pick方法根据消息类型和协议版本选择一个通道发送消息。该通道主要是pipeline和stream两类消息,pipeline通道通过HTTP POST发送给对端,stream通道和对端维护的长连接。

 

如果出现阻塞,则将消息报告给底层的raft状态机。

 

pick方法

根据消息类型和版本获取对应的通道发送对端节点

func (p *peer) pick(m raftpb.Message) (writec chan<- raftpb.Message, picked string) {
	var ok bool
	// Considering MsgSnap may have a big size, e.g., 1G, and will block
	// stream for a long time, only use one of the N pipelines to send MsgSnap.
	if isMsgSnap(m) {
		return p.pipeline.msgc, pipelineMsg
	} else if writec, ok = p.msgAppV2Writer.writec(); ok && isMsgApp(m) {
		return writec, streamAppV2
	} else if writec, ok = p.writer.writec(); ok {
		return writec, streamMsg
	}
	return p.pipeline.msgc, pipelineMsg
}

1.如果该消息是MsgSnap快照消息,则选择pipeline.msgc通道,返回的channel名为pipeline

2.如果该消息是MsgApp消息,则选择msgAppV2Writer的msgc通道,channel名为streamMsgAppV2

3.最后选择writer的msgc通道,channel名为streamMsg

如果Stream通道不可用,则使用Pipeline消息通道发送所有类型的消息

 

peer中的方法都比较简单这里就不在叙述。

 

Blender关于GIS安装及使用天地图 Blender下载安装及GIS插件的安装及使用 阅读详情

相关推荐

电感损耗 DCR/ACR/磁芯损耗 3 大来源解析:从集肤效应到磁滞回线

本文深入解析电感损耗的三大来源:DCR(直流电阻)、ACR(交流电阻)和磁芯损耗,从集肤效应到磁滞回线的微观机制。通过对比不同材料和设计策略,提供高频开关电源中电感损耗的优化方案,帮助工程师提升系统效率和可靠性。

weixin_34379433的博客 517

etcd系列-----raft网络层实现之rafthttp模块

待续

cyq6239075的博客 2204

遥感生态指数(RSEI)——四个指数的计算

遥感生态指数是在4个生态指数的基础上通过主成分变换得出的一个评价生态环境质量的指标。因此,第二部分就是要分别计算出这4个指数的值。 ①首先,是绿度指数的计算,一般用归一化植被指数(NDVI) NDVI=(NIR-Red)/(NIR+Red) 在Bandmath工具中输入NDVI计算公式 (float(b4-b3))/(b4+b3) 其中,b3、b4分别是红波段和近红外波段 ②其次,是湿度计算。 WET = c1B1 + c2B2 + c3B3...

qq_41978498的博客 9万+

Etcd 介绍

单点部署:下载源码包、编译为可执行文件(使用build脚本构建会在当前项目的bin目录下面生成etcd和etcdctl可执行程序、etcd是etcd Server服务程序、etcdctl是链接etcd的客户端程序使用命令行操作进行和服务端的交互)Etcd安装:支持单点部署、但是在生产环境中推荐使用集群方式部署、一般etcd节点数会选择3,5,7等奇数个。使用方式:应用在启动的时候主动从etcd获取一次配置、同时在etcd节点上注册一个watcher并等待、每次配置更新的时候、etcd都会实时通知订阅者。

JineD的博客 2245

蓝牙Mesh协议一基本概念

前言 蓝牙SIG联盟在2017年发布了蓝牙Mesh1.0的协议规格,基于低功耗广播包来实现的多对多的通信技术,Mesh协议建立在BLE的物理层和链路层上,所以也可以和BLE的蓝牙进行通信 本章主要介绍蓝牙Mesh的基本概念和协议中的层级结构,也是参考网上的资料,如有异议,欢迎留言指正 基本概念 广播和洪泛 蓝牙Mesh技术是基于BLE的广播报文来实现的,是一种洪泛的消息传输机制,Mesh网络的节点间通过3个广播信道进行通信。当蓝牙Mesh网络中的节点收到消息后会转发这条消息,大大增加了网络的覆盖范围;但

9749

InsightFace(RetinaFace + ArcFace)人脸识别实战:从模型部署到Web服务构建

本文详细介绍了如何利用InsightFace框架,结合其集成的RetinaFace人脸检测与ArcFace人脸识别预训练模型,从零开始构建一个高性能的Web人脸识别服务。内容涵盖环境搭建、模型部署、核心代码解析(包括五点仿射对齐关键步骤)、FAISS向量检索集成以及基于FastAPI的Web服务开发,并提供了实战优化与常见问题排查指南,帮助开发者快速实现工业级应用。

weixin_29054245的博客 229

ETCD系列之三:网络层实现

ETCD系列之三:网络层实现 1. 概述 在理清ETCD的各个模块的实现细节后,方便线上运维,理解各种参数组合的意义。本文先从网络层入手,后续文章会依次介绍各个模块的实现。 本文将着重介绍ETCD服务的网络层实现细节。在目前的实现中,ETCD通过HTTP协议对外提供服务,同样通过HTTP协议实现集群节点间数据交互。 网络层的主要功能是实现了服务器与客户端...

weixin_34239592的博客 441

手把手教你用FPGA解析AD9680的JESD204B数据流(附Verilog代码)

本文详细介绍了如何利用FPGA解析AD9680的JESD204B数据流,包括协议核心机制、硬件平台搭建、Verilog代码实现及调试技巧。通过实战案例和代码示例,帮助工程师快速掌握高速ADC数据采集与处理技术,提升系统性能。

weixin_33640562的博客 374

入门ETCD——基础简介

etcd官方的定义:分布式系统中最关键数据的分布式、可靠的键值存储。etcd是一个由CoreOS团队开源的,基于Go语言实现的,用于构建高可用的分布式键值(key-value)数据库。

qq_33816243的博客 5190

USB通讯速度翻倍秘诀:手把手教你用WinUsb替代HID协议(附Zadig驱动配置图解)

本文详细介绍了如何通过WinUsb技术替代传统HID协议,实现USB通讯速度的显著提升。从技术对比、实现原理到Zadig驱动配置图解,手把手教你完成免驱高速通讯方案,适用于数据采集、固件升级等场景,实测速度可达HID协议的2倍以上。

weixin_29168675的博客 137

Angular项目内存优化策略

最近,我购买了一台新的设备,期望能够显著提升工作效率,特别是在运行Angular项目时。然而,尽管设备配置先进,我仍然遇到了内存不足的错误。今天,我将分享如何解决这一问题,以及一些在Angular项目中优化内存使用的方法。

m0_74337424的博客 173

ETCD_简介+使用

ETCD_简介+使用 转载:https://blog.youkuaiyun.com/bbwangj/article/details/82584988

u013328965的博客 906

基于STM32L4XX、HAL库的BQ25713RSNR充电芯片驱动程序设计

define BQ25713_I2C_ADDR (0x6B << 1) // 7位地址为 0x6B,HAL库需要左移一位。// 示例:配置 CHARGE_OPTION_0 寄存器:使能充电,使能 ICO(输入电流优化)reg_data |= (EN_CHG_MASK | EN_ICO_MASK);

zhusl6688的博客 407

etcd基本介绍

Raft算法是基于Multi-Paxos 思想 提出的一种易于理解的共识算法,主要解决了分布式中的一致性问题。

T278lk的博客 2774

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

etcd网络层(五)——Transporter接口实现

一、Transport结构体 type Transport struct { Logger *zap.Logger DialTimeout time.Duration // maximum duration before timing out dial of the request,dial的超时时间 // DialRetryFrequency defines the frequenc...

skh2015java的博客 2202

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

etcd网络层源码分析(三)——Peer接口实现

etcd网络层(三)——Peer接口实现

高思维深思考的博客 545

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

etcd网络通讯层(一)——rafthttp中重要的接口

前面我们提到etcd-raft模块,etcd-raft模块并未提供网络层的相关实现,而是将待发送的消息封装进Ready实例返回给上层模块,然后由上层模块决定如何将这些消息发送到集群中的其他节点。etcd将网络层的相关实现单独封装成一个模块,也就是etcd-rafthttp模块。从而降低了etcd-raft和etcd-rafthttp之间的耦合,提高程序的可扩展性。 et...

skh2015java的博客 1842

etcd网络层(二)——pipeline通道实现

一、pipeline结构体 pipeline通道主要负责传递快照数据 pipeline结构体及相关字段如下: type pipeline struct { peerID types.ID //该pipeline对应节点的ID tr *Transport //关联的rafthttp.Transport实例 picker ...

skh2015java的博客 977

etcd网络层(三)——stream实现过程

stream消息通道主要是通过长连接的方式和对端进行数据交互,peer结构体中的stream相关数据如下(忽略V2版本): type peer struct { writer *streamWriter //负责向Stream消息通道中写消息 msgAppReader *streamReader //负责从Stream消息通道中读消息 ...

skh2015java的博客 1798

ETCD数据库源码分析——集群间网络层服务端RaftHandler

在ETCD数据库源码分析——集群间网络层服务端接口文章中,启动http.Server时会通过rafthttp.Transporter.Handler()方法为指定的URL路径添加相应Handler实例,如下图所示。streamHandler负责处理Stream消息通道上的请求。pipelineHandler负责处理Pipeline通道上的请求,snapHandler负责处理Pipeline通道上的请求。 pipelineHandler用于集群间网络层服务端负责处理Pipeline通道上的请求,tr为当前pi

肥叔菌的博客 945

Etcd 构建高可用Etcd集群

在生产线上面,虽然etcd使用起来很简单,只需要put get watch这几条命令就可以将整个数据让它流转起来,在生产线上面etcd还有很多很多的问题,包括第一安全如何保证,第二高可用的etcd集群如何构建,第三数据如何备份,这些都和整个集群安全性息息相关。 ETCD_NAME:节点名称,集群中唯一参数有几类,第一类就是核心参数,最基本的参数,和成员相关,每个etcd成员都有它自己的名字,默认是default,所以去建Etcd集群的时候,什么参数都不加的时候,这个Etcd成员叫做default。

小楼一夜听春雨,深巷明朝卖杏花 1710

etcd网络层源码分析(四)——stream通道实现

etcd网络层(四)——stream接口实现

高思维深思考的博客 2344

深入浅出之etcd

分布式系统的难点在于“部分失败”。部分失败指信息在网络的两个节点之间传送出现了故障,发送者不知道接收者是否收到了这个信息,并且导致这种故障的原因很多,接收者也可能在发生网络错误之前收到了信息,也可能没收到。 现在的键值数据库基本都是分布式的,Zookeeper是其中久负盛名的一个,它有很成熟,丰富的特性,但它有自己的缺点,具体如下: 复杂:ZooKeeper部署维护比较复杂,管理员必须掌握一系列知识,Zookeeper使用的Pzxos强一致性算法不易于理解 Zookeeper仅提供Java和C两种接口,另

不务正业随手记 1151

etcd网络层(六)——模拟etcd网络层的stream通道维护长连接

代码如下: package main import ( "io" "log" "net" "fmt" "sync" "time" "strings" "strconv" "net/http" "encoding/json" "encoding/binary" ) func main() { peerURL1 := "http://127.0.0.1:8081" p...

skh2015java的博客 1085

CKA考试高频故障排查链路:Pod Pending、Service不通、etcd失联实战指南

Kubernetes排错本质是现象驱动的系统性验证过程,核心在于建立‘现象→日志→配置→依赖→验证’五步闭环。其中Pod调度失败、Service流量不通、etcd集群异常,是K8s运维与CKA认证中最常触发的三类底层故障模式。它们分别对应调度器决策逻辑、kube-proxy网络转发机制、etcd Raft一致性保障等关键原理,技术价值在于快速定位控制平面与数据平面的断点。典型场景包括节点污点未容忍、Service Selector标签不匹配、etcd证书过期或peer通信中断。本文聚焦真实考场高频故障,提供

weixin_34184561的博客 262

Ubuntu 18.04上用Ansible部署高可用etcd安全集群

etcd是Kubernetes等分布式系统的元数据核心,其本质是一个强一致性的Raft共识键值存储。理解etcd原理需把握三个关键:基于WAL的日志复制机制、TLS双向认证保障peer通信安全、以及多节点初始集群视图的一致性约束。在Ubuntu 18.04这类LTS系统上部署,既要应对OpenSSL 1.1.1a与etcd 3.3+/3.4+的TLS 1.3兼容性问题,又要规避内核4.15的quota内存泄漏缺陷。技术价值在于将人工易错的证书管理、端口策略、存储挂载和systemd调优,转化为可复用、可审计

diaohuyi6830的博客 500
上一篇: Golang os包下常用的系统相关操作
下一篇: etcd网络层(五)——Transporter接口实现
思维的深度
博客等级 码龄11年 2万+粉丝 391原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值