数据库修仙元婴篇四——openguass dcf启动详解

openGauss DCF DCF(Distributed Consensus Framework,分布式共识框架)基于Paxos算法实现数据同步强一致。DCF模式开关开启后,DN可以支持基于Paxos协议的复制与仲裁能力。 阅读详情

openguass dcf启动详解

  • 先启动walreceiver
PMSIGNAL_START_WALRECEIVER
WALRECEIVER
WALRECEIVER
RequestXLogStreaming
SendPostmasterSignal
CheckPostmasterSignal
initialize_util_thread
InternalThreadFunc
GetThreadEntry
GaussDbThreadMain
GaussDbAuxiliaryThreadMain
WalReceiverMain
  • 启动walreceiver后,再启动dcf
WalReceiverMain
LaunchPaxos
InitPaxosModule
RegisterDcfCallBacks
InitDcfAndStart
dcf_start

openguass dcf主要处理逻辑

接收

dcf收到消息处理函数如下:

static bool RegisterDcfCallBacks()
{
    if (dcf_register_after_writer(ConsensusLogCbFunc) != 0) {
        ereport(WARNING, (errmsg("Failed to register ConsensusLogCbFunc.")));
        return false;
    }
    if (dcf_register_consensus_notify(ReceiveLogCbFunc) != 0) {
        ereport(WARNING, (errmsg("Failed to register ReceiveLogCbFunc.")));
        return false;
    }
    if (dcf_register_status_notify(PromoteOrDemote) != 0) {
        ereport(WARNING, (errmsg("Failed to register PromoteOrDemote.")));
        return false;
    }
    if (dcf_register_exception_report(DCFExceptionCbFunc) != 0) {
        ereport(WARNING, (errmsg("Failed to register DCFExceptionCbFunc.")));
        return false;
    }
    if (dcf_register_election_notify(ElectionCbFunc) != 0) {
        ereport(WARNING, (errmsg("Failed to register ElectionCbFunc.")));
        return false;
    }
    if (dcf_register_msg_proc(ProcessMsgCbFunc) != 0) {
        ereport(WARNING, (errmsg("Failed to register ProcessMsgCbFunc.")));
        return false;
    }
    if (dcf_register_thread_memctx_init(DcfThreadShmemInit) != 0) {
        ereport(WARNING, (errmsg("Failed to register DcfThreadShmemInit.")));
        return false;
    }
    return true;
}

其中根据是否属于paxos消息通信又分为两类:

  • 集群间消息

    集群信息是集群内的通信消息,某一节点发出其他节点均需要处理。

    • dcf_register_after_writer(ConsensusLogCbFunc)

      注册leader节点写入数据成功的回调函数(仅leader节点会触发该回调)

ConsensusLogCbFunc
SyncConfigFile
dcf_send_msg
dcf_broadcast_msg
DcfUpdateConsensusLsnAndIndex
DcfUpdateAppliedRecordIndex
SyncPaxosReleaseWaiters
  • dcf_register_consensus_notify(ReceiveLogCbFunc)

    follower节点写入数据成功的回调函数(仅follower节点会触发回调)

ReceiveLogCbFunc
CheckBuildReasons
CheckConfigFile
XLogWalRcvReceive
DcfUpdateAppliedRecordIndex
  • dcf_register_status_notify(PromoteOrDemote)

    节点角色变化的回调函数(只有当本节点变为leader会收到该回调)

PromoteOrDemote
PromoteCallbackFunc
SendNotifySignal
DemoteCallbackFunc
ResetDCFNodesInfo
SendPostmasterSignal
ProcessDemoteRequest
  • dcf_register_election_notify(ElectionCbFunc)

    选举leader变化的回调函数.

  • 节点间消息

    节点间消息为1对1消息,为普通tcp通信,为某一节点明确分为某一节点的消息。

    • dcf_register_msg_proc(ProcessMsgCbFunc)

      节点收到另一个节点发来的消息的回调函数

检查是否有leader
当前节点是leader
收到来自leader的消息
ProcessMsgCbFunc
QueryLeaderNodeInfo
ReplyFollower
CheckLeaderReply

发送消息

发送消息同样分为集群间消息和节点间消息。

集群间消息所有节点都会收到并处理,节点间消息为一对一的tcp通信。

  • 集群间消息发送

    • XLogWritePaxos
往dcf集群写入数据仅leader节点能写入成功
WalWriterMain
XLogBackgroundFlush
XLogWritePaxos
dcf_write
XLogSelfFlush
XLogInsert
XLogInsertRecord
XLogInsertRecordSingle
CopyXLogRecordToWAL
XLogSelfFlushWithoutStatus
  • 节点间消息发送

    • DCFSendMsg
数据库修仙元婴篇三——一文读懂openguass dcf网络模块 一文读懂openguass dcf网络模块 阅读详情

相关推荐

hive sql每个用户的累积访问次数

我们有如下的用户访问数据 userId visitDate visitCount u01 2017/1/21 5 u02 2017/1/23 6 u03 2017/1/22 8 u04 2017/1/20 3 u01 2017/1/23 6 u01 2017/2/21 8 U02 2017/1/23 6 U01 2017/2/22 4 要求使用SQL...

weixin_39150719的博客 3488

openGauss数据库共享存储特性简介

openGauss数据库共享存储特性简介。

Gauss松鼠会 3469

【电磁场与电磁波课程设计】基于HFSS的双频微带天线仿真及设计

第五代移动通信技术(5G)的商用已经近在眼前,作为移动通信中最为重要的功能组件,面向5G通信应用的手机天线与基站天线的技术研究与设计成为近年来的热点。随着移动通信中“跳频”“扩频”等通信技术发展,为了满足与多个终端的通信要求,实现多系统共用和收发共用等功能,这就要求天线在不同频段下工作。根据国家工信部的最新规定,5G移动通信的中频段被划定在3.3 GHz-3.5 GHz及4.8 GHz-5.0 GH,面向5G移动通信的天线应具有高增益、小型化、宽频段及高隔离度等技术特征,以满足5G通信的高传输速率、波束智能

weixin_44450575的博客 1万+

openGauss-DCF

openGauss-DCF

qq_33365731的博客 904

openwrt编译及第一个安装包教程

Date: 2017.03.14 Made:SuperDeverloper Email: na1206@live.com Target: For mt7688 based board说明:本人在学习过程中走了不少弯路,希望本文档能为后来者提供便利。欢迎复制和使用本文档。本文档记录了搭建openwrt编译环境以及快速创建ipk包(openwrt上的安装程序)。本文档在实际应用中做过几次修改,以帮

SuperDevloper的博客 1万+

XDMA流传输模式

XDMA 流传输模式(Streaming DMA)​ 是 Xilinx FPGA 通过 PCIe 与主机进行 ​实时流式数据传输 的核心机制,

浩瀚之水的专栏 3437

【参赛作品13】opengauss dcf搭建

iplist: 192.168.11.121 192.168.11.123 192.168.1.129 port: 21000 datadir /opengauss_210/ommdata210 GAUSSHOME /opengauss_210/opengauss

Gauss松鼠会 2523

使用C++实现DNS欺骗攻击

其中,domain_name表示需要欺骗的域名,dns_server_ip表示实际DNS服务器的IP地址,fake_ip表示需要重定向到的IP地址。在DNS查询过程中,当客户端向DNS服务器请求解析某个域名时,DNS服务器会返回该域名对应的IP地址。DNS劫持是一种常见的网络攻击方式,通过篡改DNS响应数据,使得用户访问的网站被重定向到攻击者指定的恶意站点。我们使用C++编写一个简单的DNS欺骗程序,使得当客户端请求解析特定的域名时,我们可以将其重定向到指定的IP地址。使用C++实现DNS欺骗攻击。

TechGlide的博客 414

openGauss高级特性:DCF

DCF功能架构如图1所示,主要包括:功能模块、存储模块、通信模块、服务层等。图 1DCF功能架构图算法模块是基于multi-paxos协议实现,同时结合自身业务场景、及高性能和生态的需求,DCF做了很多功能扩展和性能优化,使其相对于基础的multi-paxos,功能变的更加丰富,在多种部署场景下性能都有明显的提升。其主要包括:Leader选举模块,日志复制模块,元数据模块,以及集群管理模块等。出于特定业务场景和极致高性能考虑,DCF将日志存储单独抽取出一套公共接口,并实现了一个默认的高性能存储模块。

weixin_53596073的博客 1004

(持续更新中!)详解【计算机类&面试真题】军队文职考试 ——第一期(真题+解析)| TCP、UDP的区别;程序局部性;ICMP协议及主要功能;重定位所需的计算机硬件

在当今信息化时代,军队中对于计算机专业人才的需求与日俱增。因此,了解面试和复试中常见的问题和要求对于准备应聘者来说至关重要。本文将围绕面试的准备要点、常见问题以及面试技巧进行探讨,并提供一些建议和经验。通过了解面试和复试的准备要点、常见问题以及技巧,读者将能够提升应对能力和成功率。本文为准备军队文职面试和计划考研复试的读者提供了有价值的参考和指导。通过阅读本篇博客,读者将能够获得关于军队文职计算机类面试和计算机考研复试的全面了解,提升自身的应对能力和成功率。

追光者♂:记录、分享、总结、提升,现象级专栏《Python从入门到人工智能》作者,无惧黑暗,坚信曙光 1690

【数据集】GPM IMERG Daily Precipitation Dataset

GPM IMERG Daily Precipitation Dataset

WW、forever的博客 1226

深度干货!openGauss日志共识框架大揭秘

分布式一致性算法是一个分布式系统的基础性问题,所要解决的是一个分布式系统如何就某个值(决议)达成强一致,进而解决系统的高可用问题。Paxos是最重要的分布式一致性算法,很多人都把它作为“分布式一致性协议”的代名词。虽然Paxos理论已经提出了很多年,使用Paxos及其各变种协议的产品也层出不穷,但是真正工业级的、第三方独立库还是很少见,开源的项目更是少之又少,参考Paxos协议的常见开源产品有Zo...

2301_76434200的博客 103

Android SELinux——neverallow问题处理(十六)

遇到 neverallow 规则问题,千万别急着去注释/剔除里面原有的规则(原生的尽量别动)。增加 allow 规则是常见的解决办法,但是随着 android 版本的升级,系统对 SELinux 的管控越来越严,增加了大量的 neverallow。一般情况下,向默认标签授予权限的做法是错误的,其中许多权限都是 neverallow 规则所不允许的。按照上面方法去添加 SELinux 可能会违反了 neverallow 规则,编译时候会报 neverallow 相关的错误。

小旭的专栏 2694

openGauss高可用--DCF

DCF(Distributed Consensus Framework,分布式共识框架)基于Paxos算法实现数据同步强一致。DCF模式开关开启后,DN可以支持基于Paxos协议的复制与仲裁能力。

Cui_Yuan_666的博客 276

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

openGauss CM相关参数 :DCF参数设置

即若参数dcf_log_path_permission配置为750,dcf_log_file_permission只能为600或者640。若参数dcf_log_path_permission配置为700,dcf_log_file_permission只能为600。: DCF日志传输压缩级别,参数重启生效,此参数生效前提必须配置有效的压缩算法,即设置合法的dcf_compress_algorithm参数。: DCF通信批量消息数,数值为0时,DCF会根据网络以及写入数据量自适应调整,参数重启生效。

weixin_53596073的博客 1019

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

openGauss 统一数据库管理工具:资源池化

节点间的连通性网络心跳检测的主逻辑在cma实现。为了避免频繁建连,心跳采用长连接的方式,即cma之间通过TCP长连接,进行心跳交互,由每个cma节点定时广播,并周期性将列表信息上报给cms,此功能依赖各个节点的时钟完全同步。各节点cm_agent定时向投票盘写入心跳,cm_server获取投票盘中的磁盘心跳,作为主备共享模式下的仲裁依据。cms根据网络心跳数据、磁盘心跳数据、共享盘状态等进行仲裁,选主子集群。如果节点数一样多,则节点号小的胜出。拥有节点多的子集群胜出;不满足条件的剔除集群。

weixin_53596073的博客 603

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

基于OpenGauss集中式数据库高可用架构分析

OpenGauss是华为基于PostgreSQL内核开发的国产集中式数据库系统,自开源以来社区用户活跃,深受关注。本文简要介绍OpenGauss数据库的基本特性、主要的高可用部署架构以及适用的应用场景分析,以供参考。

牧羊人的方向 3176

openGauss 5.0.0 :高可用(7)

DCF(Distributed Consensus Framework,分布式共识框架)基于Paxos算法实现数据同步强一致。DCF模式开关开启后,DN可以支持基于Paxos协议的复制与仲裁能力。

weixin_53596073的博客 975

openGauss 高可用

主备机为了保证故障的可恢复,需要将数据写多份,设置主备多个副本,通过日志进行数据同步,可以实现节点故障、停止后重启等情况下,openGauss能够保证故障之前的数据无丢失,满足ACID特性。主备环境可以支持主备和一主多备两种模式。主备模式下,备机需要重做日志,可以升主。在一主多备模式下,所有的备机都需要重做日志,都可以升主。主备主要用于要求一般可靠性的OLTP系统,能够节省一定的存储资源。而一主多备提供更高的容灾能力,适合于要求更高可靠性事务处理的OLTP系统。主备机均正常的状态下,主备机之间可以通过swi

cindy__007的博客 981

⭐openGauss日志共识框架大揭秘⭐

分布式一致性算法是一个分布式系统的基础性问题,所要解决的是一个分布式系统如何就某个值(决议)达成强一致,进而解决系统的高可用问题。Paxos是最重要的分布式一致性算法,很多人都把它作为“分布式一致性协议”的代名词。 虽然Paxos理论已经提出了很多年,使用Paxos及其各变种协议的产品也层出不穷,但是真正工业级的、第三方独立库还是很少见,开源的项目更是少之又少,参考Paxos协议的常见开源产品有Zookeeper、etcd,但是其协议并不能支持一个高吞吐的状态机复制,且没有提供独立的第三方库,可供其他系统

Gauss松鼠会 2370

openGauss/MogDB-3.0.0 dcf测试(非om安装)

1.openGauss-3.0.0 版本的 dcf 对于 switchover,在进行切换之后会把原主节点 shutdown,而不会重启为 follower,需要手动重启。2.此外 dcf 不像 om 工具这种部署的主备,dcf 在主节点 pg_stat_replication 视图里查询不到复制信息。

2401_83143557的博客 679

OpenGauss线程管理-日志写线程-WALWriter

主要功能:周期性的把日志缓冲区的内容同步到磁盘上。

qq_61101109的博客 855

1分钟配置openGauss开机自启动

最近有个项目客户反馈服务器硬件升级后,业务就一直处于报障状态,拉着硬件工程师和我一起协助排查问题。我登录到服务器查看数据库状态,发现数据库根本没有启动。。。启动后,业务正常了。后面询问得知,服务器硬件升级后,重启了操作系统,结果openGauss数据库没有启动导致了该问题。openGauss企业版安装后,是通过自带的命令管理的,不是通过systemd管理的。于是,我想着通过systemd服务管理器,集成openGauss数据库服务到操作系统的启动流程中,设置openGauss。

霸王龙的日常专栏 4247

OpenGauss线程管理-检查点线程-Checkpointer

检查点线程处理所有检查点。检查点会在自上一个检查点后经过一定时间后自动分派,并且它也可以发出信号以执行请求的检查点。(要求每隔这么多 WAL 段设置一个检查点的 GUC 参数是通过在填充 WAL 段时让后端发出信号来实现的;检查点本身并不注意条件。)

qq_61101109的博客 1049

【数据库】openGauss3.1.0版本做了哪些优化

openGauss3.1.0版本做了哪些优化

你在看屏幕的同时,屏幕也在注视着你 7117
上一篇: 数据库修仙炼气篇九——postgresql流复制同异步分析
下一篇: 数据库修仙元婴篇三——一文读懂openguass dcf网络模块
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我在数据库世界里修仙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值