数据库修仙元婴篇四——openguass dcf启动详解

openGauss DCF DCF(Distributed Consensus Framework,分布式共识框架)基于Paxos算法实现数据同步强一致。DCF模式开关开启后,DN可以支持基于Paxos协议的复制与仲裁能力。 阅读详情

openguass dcf启动详解

  • 先启动walreceiver
PMSIGNAL_START_WALRECEIVER
WALRECEIVER
WALRECEIVER
RequestXLogStreaming
SendPostmasterSignal
CheckPostmasterSignal
initialize_util_thread
InternalThreadFunc
GetThreadEntry
GaussDbThreadMain
GaussDbAuxiliaryThreadMain
WalReceiverMain
  • 启动walreceiver后,再启动dcf
WalReceiverMain
LaunchPaxos
InitPaxosModule
RegisterDcfCallBacks
InitDcfAndStart
dcf_start

openguass dcf主要处理逻辑

接收

dcf收到消息处理函数如下:

static bool RegisterDcfCallBacks()
{
    if (dcf_register_after_writer(ConsensusLogCbFunc) != 0) {
        ereport(WARNING, (errmsg("Failed to register ConsensusLogCbFunc.")));
        return false;
    }
    if (dcf_register_consensus_notify(ReceiveLogCbFunc) != 0) {
        ereport(WARNING, (errmsg("Failed to register ReceiveLogCbFunc.")));
        return false;
    }
    if (dcf_register_status_notify(PromoteOrDemote) != 0) {
        ereport(WARNING, (errmsg("Failed to register PromoteOrDemote.")));
        return false;
    }
    if (dcf_register_exception_report(DCFExceptionCbFunc) != 0) {
        ereport(WARNING, (errmsg("Failed to register DCFExceptionCbFunc.")));
        return false;
    }
    if (dcf_register_election_notify(ElectionCbFunc) != 0) {
        ereport(WARNING, (errmsg("Failed to register ElectionCbFunc.")));
        return false;
    }
    if (dcf_register_msg_proc(ProcessMsgCbFunc) != 0) {
        ereport(WARNING, (errmsg("Failed to register ProcessMsgCbFunc.")));
        return false;
    }
    if (dcf_register_thread_memctx_init(DcfThreadShmemInit) != 0) {
        ereport(WARNING, (errmsg("Failed to register DcfThreadShmemInit.")));
        return false;
    }
    return true;
}

其中根据是否属于paxos消息通信又分为两类:

  • 集群间消息

    集群信息是集群内的通信消息,某一节点发出其他节点均需要处理。

    • dcf_register_after_writer(ConsensusLogCbFunc)

      注册leader节点写入数据成功的回调函数(仅leader节点会触发该回调)

ConsensusLogCbFunc
SyncConfigFile
dcf_send_msg
dcf_broadcast_msg
DcfUpdateConsensusLsnAndIndex
DcfUpdateAppliedRecordIndex
SyncPaxosReleaseWaiters
  • dcf_register_consensus_notify(ReceiveLogCbFunc)

    follower节点写入数据成功的回调函数(仅follower节点会触发回调)

ReceiveLogCbFunc
CheckBuildReasons
CheckConfigFile
XLogWalRcvReceive
DcfUpdateAppliedRecordIndex
  • dcf_register_status_notify(PromoteOrDemote)

    节点角色变化的回调函数(只有当本节点变为leader会收到该回调)

PromoteOrDemote
PromoteCallbackFunc
SendNotifySignal
DemoteCallbackFunc
ResetDCFNodesInfo
SendPostmasterSignal
ProcessDemoteRequest
  • dcf_register_election_notify(ElectionCbFunc)

    选举leader变化的回调函数.

  • 节点间消息

    节点间消息为1对1消息,为普通tcp通信,为某一节点明确分为某一节点的消息。

    • dcf_register_msg_proc(ProcessMsgCbFunc)

      节点收到另一个节点发来的消息的回调函数

检查是否有leader
当前节点是leader
收到来自leader的消息
ProcessMsgCbFunc
QueryLeaderNodeInfo
ReplyFollower
CheckLeaderReply

发送消息

发送消息同样分为集群间消息和节点间消息。

集群间消息所有节点都会收到并处理,节点间消息为一对一的tcp通信。

  • 集群间消息发送

    • XLogWritePaxos
往dcf集群写入数据仅leader节点能写入成功
WalWriterMain
XLogBackgroundFlush
XLogWritePaxos
dcf_write
XLogSelfFlush
XLogInsert
XLogInsertRecord
XLogInsertRecordSingle
CopyXLogRecordToWAL
XLogSelfFlushWithoutStatus
  • 节点间消息发送

    • DCFSendMsg
数据库修仙元婴篇三——一文读懂openguass dcf网络模块 一文读懂openguass dcf网络模块 阅读详情

相关推荐

2025最新正版Autodesk 3ds Max 2022安装教程:从下载到中文环境配置全流程解析

Autodesk 3ds Max 2022是一款专业的三维建模、动画和渲染软件,广泛应用于影视制作、游戏开发、建筑可视化等领域。

waicsdn_haha的博客 1万+

openGauss数据库共享存储特性简介

openGauss数据库共享存储特性简介。

Gauss松鼠会 3469

ArcGis布局视图中Excel表格无边框插入与图例符号边框定制技巧

本文详细解析了在ArcGis布局视图中实现Excel表格无边框插入与图例符号边框定制的专业技巧。通过源头净化Excel表格、精准粘贴以及分解图例并单独设置边框属性,有效解决了地图报告中常见的视觉粗糙问题,帮助用户提升专题图与报告的精致度与专业感。

weixin_29292535的博客 306

openGauss-DCF

openGauss-DCF

qq_33365731的博客 904

深入解析CycloneDDS跨域通信中的XML配置文件优化策略

本文深入解析了CycloneDDS跨域通信中XML配置文件的优化策略,重点介绍了网络接口配置、多播设置、性能调优参数及复杂场景下的配置案例。通过实战技巧和调试方法,帮助开发者在SoC环境中实现高效稳定的跨域通信,提升系统性能。

soda5的博客 690

HarmonyOS 鸿蒙开发DevEco Studio OpenHarmony:安全测试

通过对HarmonyOS应用生命周期建模和应用攻击面建模,采用静态数据流分析技术,提高漏洞发现的准确率,同时覆盖20余种攻击面,65+漏洞测试项,帮助开发者提前发现和识别漏洞隐患。在检测报告中,会针对每一项漏洞风险项给出明确的修复建议,可以帮助开发者快速修复漏洞。

斌擎科技 1183

【参赛作品13】opengauss dcf搭建

iplist: 192.168.11.121 192.168.11.123 192.168.1.129 port: 21000 datadir /opengauss_210/ommdata210 GAUSSHOME /opengauss_210/opengauss

Gauss松鼠会 2524

高熵合金AlCoCrFeNi/金刚石摩擦案例代码

本文介绍金刚石与高熵合金AlCoCrFeNi摩擦的案例。 在之前的文章中,介绍过使用fix indent命令实现虚拟球的摩擦,本文介绍使用金刚石实体球实现高熵合金摩擦的方法。 主要的模拟过程如下: (1)基体建模 建使用原子替换法获得高熵合金初始模型,升温到3000K驰豫后,冷却至300K,获得平衡组织。 (2)摩擦球建模 在高熵合金平衡组织的模型中添加金刚石摩擦球,使用change_box命令扩大box尺寸,添加金刚石摩擦球,并设置混合力场。 (3)摩擦过程 摩擦球下压一定深度后,沿y方向进行摩擦,摩擦

lammps_jiayou的博客 2901

openGauss高级特性:DCF

DCF功能架构如图1所示,主要包括:功能模块、存储模块、通信模块、服务层等。图 1DCF功能架构图算法模块是基于multi-paxos协议实现,同时结合自身业务场景、及高性能和生态的需求,DCF做了很多功能扩展和性能优化,使其相对于基础的multi-paxos,功能变的更加丰富,在多种部署场景下性能都有明显的提升。其主要包括:Leader选举模块,日志复制模块,元数据模块,以及集群管理模块等。出于特定业务场景和极致高性能考虑,DCF将日志存储单独抽取出一套公共接口,并实现了一个默认的高性能存储模块。

weixin_53596073的博客 1004

osgEarth加载大疆数据

【代码】osgEarth加载大疆数据。

weixin_44769745的博客 308

SQL Server数据库备份与恢复

在 SQL Server 中,数据库备份与恢复是保障数据安全的核心操作。

zjw541806的博客 1878

深度干货!openGauss日志共识框架大揭秘

分布式一致性算法是一个分布式系统的基础性问题,所要解决的是一个分布式系统如何就某个值(决议)达成强一致,进而解决系统的高可用问题。Paxos是最重要的分布式一致性算法,很多人都把它作为“分布式一致性协议”的代名词。虽然Paxos理论已经提出了很多年,使用Paxos及其各变种协议的产品也层出不穷,但是真正工业级的、第三方独立库还是很少见,开源的项目更是少之又少,参考Paxos协议的常见开源产品有Zo...

2301_76434200的博客 103

RK3568平台(音频篇)麦克风PDM接口录音

PDM = Pulse Density Modulation是一种用数字信号表示模拟信号的调制方法。PDM则使用远高于PCM采样率的时钟采样调制模拟分量,只有1位输出,要么为0,要么为1。因此通过PDM方式表示的数字音频也被称为Oversampled 1-bit Audio。相比PDM一连串的0和1,PCM的量化结果更为直观简单。以PDM方式作为模数转换的接收端,需要用到抽取滤波器(Decimation Filter),将密密麻麻的0和1代表的密度分量转换为幅值分量,而PCM方式得到的已经是幅值分量了。

weixin_49303682的博客 5196

openGauss高可用--DCF

DCF(Distributed Consensus Framework,分布式共识框架)基于Paxos算法实现数据同步强一致。DCF模式开关开启后,DN可以支持基于Paxos协议的复制与仲裁能力。

Cui_Yuan_666的博客 276

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

openGauss CM相关参数 :DCF参数设置

即若参数dcf_log_path_permission配置为750,dcf_log_file_permission只能为600或者640。若参数dcf_log_path_permission配置为700,dcf_log_file_permission只能为600。: DCF日志传输压缩级别,参数重启生效,此参数生效前提必须配置有效的压缩算法,即设置合法的dcf_compress_algorithm参数。: DCF通信批量消息数,数值为0时,DCF会根据网络以及写入数据量自适应调整,参数重启生效。

weixin_53596073的博客 1019

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

openGauss 统一数据库管理工具:资源池化

节点间的连通性网络心跳检测的主逻辑在cma实现。为了避免频繁建连,心跳采用长连接的方式,即cma之间通过TCP长连接,进行心跳交互,由每个cma节点定时广播,并周期性将列表信息上报给cms,此功能依赖各个节点的时钟完全同步。各节点cm_agent定时向投票盘写入心跳,cm_server获取投票盘中的磁盘心跳,作为主备共享模式下的仲裁依据。cms根据网络心跳数据、磁盘心跳数据、共享盘状态等进行仲裁,选主子集群。如果节点数一样多,则节点号小的胜出。拥有节点多的子集群胜出;不满足条件的剔除集群。

weixin_53596073的博客 603

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

基于OpenGauss集中式数据库高可用架构分析

OpenGauss是华为基于PostgreSQL内核开发的国产集中式数据库系统,自开源以来社区用户活跃,深受关注。本文简要介绍OpenGauss数据库的基本特性、主要的高可用部署架构以及适用的应用场景分析,以供参考。

牧羊人的方向 3176

openGauss 5.0.0 :高可用(7)

DCF(Distributed Consensus Framework,分布式共识框架)基于Paxos算法实现数据同步强一致。DCF模式开关开启后,DN可以支持基于Paxos协议的复制与仲裁能力。

weixin_53596073的博客 975

openGauss 高可用

主备机为了保证故障的可恢复,需要将数据写多份,设置主备多个副本,通过日志进行数据同步,可以实现节点故障、停止后重启等情况下,openGauss能够保证故障之前的数据无丢失,满足ACID特性。主备环境可以支持主备和一主多备两种模式。主备模式下,备机需要重做日志,可以升主。在一主多备模式下,所有的备机都需要重做日志,都可以升主。主备主要用于要求一般可靠性的OLTP系统,能够节省一定的存储资源。而一主多备提供更高的容灾能力,适合于要求更高可靠性事务处理的OLTP系统。主备机均正常的状态下,主备机之间可以通过swi

cindy__007的博客 981

⭐openGauss日志共识框架大揭秘⭐

分布式一致性算法是一个分布式系统的基础性问题,所要解决的是一个分布式系统如何就某个值(决议)达成强一致,进而解决系统的高可用问题。Paxos是最重要的分布式一致性算法,很多人都把它作为“分布式一致性协议”的代名词。 虽然Paxos理论已经提出了很多年,使用Paxos及其各变种协议的产品也层出不穷,但是真正工业级的、第三方独立库还是很少见,开源的项目更是少之又少,参考Paxos协议的常见开源产品有Zookeeper、etcd,但是其协议并不能支持一个高吞吐的状态机复制,且没有提供独立的第三方库,可供其他系统

Gauss松鼠会 2370

openGauss/MogDB-3.0.0 dcf测试(非om安装)

1.openGauss-3.0.0 版本的 dcf 对于 switchover,在进行切换之后会把原主节点 shutdown,而不会重启为 follower,需要手动重启。2.此外 dcf 不像 om 工具这种部署的主备,dcf 在主节点 pg_stat_replication 视图里查询不到复制信息。

2401_83143557的博客 679

OpenGauss线程管理-日志写线程-WALWriter

主要功能:周期性的把日志缓冲区的内容同步到磁盘上。

qq_61101109的博客 855

1分钟配置openGauss开机自启动

最近有个项目客户反馈服务器硬件升级后,业务就一直处于报障状态,拉着硬件工程师和我一起协助排查问题。我登录到服务器查看数据库状态,发现数据库根本没有启动。。。启动后,业务正常了。后面询问得知,服务器硬件升级后,重启了操作系统,结果openGauss数据库没有启动导致了该问题。openGauss企业版安装后,是通过自带的命令管理的,不是通过systemd管理的。于是,我想着通过systemd服务管理器,集成openGauss数据库服务到操作系统的启动流程中,设置openGauss。

霸王龙的日常专栏 4247

OpenGauss线程管理-检查点线程-Checkpointer

检查点线程处理所有检查点。检查点会在自上一个检查点后经过一定时间后自动分派,并且它也可以发出信号以执行请求的检查点。(要求每隔这么多 WAL 段设置一个检查点的 GUC 参数是通过在填充 WAL 段时让后端发出信号来实现的;检查点本身并不注意条件。)

qq_61101109的博客 1049

【数据库】openGauss3.1.0版本做了哪些优化

openGauss3.1.0版本做了哪些优化

你在看屏幕的同时,屏幕也在注视着你 7117
上一篇: 数据库修仙炼气篇九——postgresql流复制同异步分析
下一篇: 数据库修仙元婴篇三——一文读懂openguass dcf网络模块
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我在数据库世界里修仙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值