数据库修仙筑基篇一——常用分布式解决方案

分布式存储问题及解决方案 分布式存储存在的问题 分布式存储一般情况下都是靠“副本”来确保数据的安全性和完整性。每块盘记录的数据内容都不一样,当某一块盘出现问题,都需要从其他不同盘内的数据块中进行快速的数据重构。 数据重构是需要时间的,如果大量盘同时故障,将会发生什么?另外,OSD的扩容,也会导致数据的迁移,也会影响存储。 分布式存储一般都采用副本的方式来确保数据的安全性。写入磁盘前不需要进行额外复杂的计算,就可以将数据写入磁盘,是最快速的方式。是一种空间换时间的方法,即想得到较好的存储性能,就采用副本的方式。 当有副本出现丢 阅读详情

常用分布式解决方案

基本概念

集中式存储

传统的存储也称为集中式存储, 从概念上可以看出来是具有集中性的,也就是整个存储是集中在一个系统中的,但集中式存储并不是一个单独的设备,是集中在一套系统当中的多个设备。集中式存储 最大的特点是有一个统一的入口,所有数据都要经过统一的入口。

分布式存储

分布式存储最早是由谷歌提出的,其目的是通过廉价的服务器来提供使用与大规模,高并发场景下的 Web 访问问题。它 采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

分布式存储包含的种类繁多,除了传统意义上的分布式文件系统、分布式块存储和分布式对象存储外,还包括分布式数据库和分布式缓存等,但其中架构无外乎于三种:

  • 中间控制节点架构

    以 HDFS ( Hadoop Distribution File System )为代表的架构是典型的代表。在这种架构中,一部分节点 NameNode 是存放管理数据(元数据),另一部分节点 DataNode 存放业务数据,这种类型的服务器负责管理具体数据。这种架构就像公司的层次组织架构, namenode 就如同老板,只管理下属的经理( datanode ),而下属的经理,而经理们来管理节点下本地盘上的数据。

    在该架构中 NameNode 通常是主备部署( Secondary NameNode ),而 DataNode 则是由大量节点构成一个集群。由于元数据的访问频度和访问量相对数据都要小很多,因此 NameNode 通常不会成为性能瓶颈,而 DataNode 集群中的数据可以有副本,既可以保证高可用性,可以分散客户端的请求。因此,通过这种分布式存储架构可以通过横向扩展 datanode 的数量来增加承载能力,也即实现了动态横向扩展的能力。

  • 完全无中心架构 – 计算模式

    以 Ceph 为代表的架构是其典型的代表。在该架构中与 HDFS 不同的地方在于该架构中没有中心节点。客户端是通过一个设备映射关系 计算出来 其写入数据的位置,这样客户端可以直接与存储节点通信,从而避免中心节点的性能瓶颈。

  • 完全无中心架构 – 一致性哈希

    以 Ceph 为代表的架构是其典型的代表。在该架构中与 HDFS 不同的地方在于该架构中没有中心节点。客户端是通过一个设备映射关系 计算出来 其写入数据的位置,这样客户端可以直接与存储节点通信,从而避免中心节点的性能瓶颈。

分布式理论

分布式一致性问题

分布式系统中要解决的一个非常重要的问题就是数据的复制,所谓分布式一致性的问题,就是指在分布式环境中引入数据复制机制后,不同数据节点之间可能会出现的、且无法依靠计算机应用程序自身解决的数据不一致的情况。

简单来说,数据一致性就是指在对一个副本数据进行变更的时候,必须确保也能够更新其它的副本,否则不同副本之间的数据将出现不一致。

  • 强一致性:这种一致性级别是最符合用户直觉的,它要求系统写入的是什么,读出来的也要是什么,用户体验好,但实现起来往往对系统的性能影响较大;

  • 弱一致性:这种一致性级别约束了系统在写入成功后,不保证立即可以读到写入的值,也不保证多久之后数据能够达到一致,但会尽可能地保证到某个时间级别(如秒级别)后,数据能够达到一致状态;

  • 最终一致性:最终一致性其实是弱一致性的一个特例,系统会保证在一定时间内,能够达到数据一致的状态。这里之所以将最终一致性单独提出来,是因为它是弱一致性中非常推崇的一种一致性模型,也是业界在大型分布式系统的数据一致性上用的比较多的一致性模型。

CAP 理论

它是一个经典的分布式系统理论。CAP 理论告诉我们:一个分布式系统不可能同时满足一致性(C:Consistency)、可用性(A:Availability )及分区容错性(P:Partition tolerance)这三个基本要求,最多只能同时满足其中两项。

  • 一致性:所有节点上的数据时刻保持同步

  • 可用性:每个请求都能接收一个响应,无论响应成功或失败

  • 分区容错:系统应该持续提供服务,即使系统内部(某个节点分区)有消息丢失。比如交换机失败、网址网络被分成几个子网,形成脑裂、服务器发生网络延迟或死机,导致某些Server与集群中的其他机器失去联系。

BASE 理论

在分布式(数据库分片或分库存在的多个实例上)前提下,CAP理论并不适合数据库事务,因为更新一些错误的数据而导致的失败,无论使用什么高可用方案都是徒劳的,因为数据发生了无法修正的错误 。此外,XA事务虽然保证了数据库在分布式系统下的 ACID (原子性、一致性、隔离性、持久性)特性,但同时也带来了一 些性能方面的代价,对于并发和响应时间要求都比较高的电商平台来说,是很难接受的。

eBay尝试了另外一条完全不同的路,放宽了数据库事务的ACID要求,提出了一套名为BASE的新准则。BASE全称为Basically Available,Soft-state,Eventually Consistent。系统基本可用、软状态、数据最终一致性。

etcd

zookeeper

raft

corosync

quorum {
        provider: corosync_votequorum      # 启动了votequorum
        expected_votes: 7              # 7表示,7个节点,quorum为4。如果设置了nodelist参数,expected_votes无效
        wait_for_all: 1               # 值为1表示,当集群启动,集群quorum被挂起,直到所有节点在线并加入集群,这个参数是Corosync 2.0新增的。
        last_man_standing: 1             # 为1表示,启用LMS特性。默认这个特性是关闭的,即值为0。
                             # 这个参数开启后,当集群的处于表决边缘(如expected_votes=7,而当前online nodes=4),处于表决边缘状态超过last_man_standing_window参数指定的时间,
                             # 则重新计算quorum,直到online nodes=2。如果想让online nodes能够等于1,必须启用auto_tie_breaker选项,生产环境不推荐。
        last_man_standing_window: 10000        # 单位为毫秒。在一个或多个主机从集群中丢失后,重新计算quorum
}

c-raft集群开发需处理问题:

  1. 需要开发动态更改quorum代码;
  2. 需要开发客户端和服务端代码;(如何连接集群和集群如何处理数据)
  3. 需要开发集群维护代码;(集群监控、查询集群状态、移除添加节点等)
  4. 支持持久化,但当前仅记录变更日志;若要持久化业务,需在开发服务端和客户端时添加相关代码,将业务逻辑写入文件;

corosync集群开发需处理问题:

  1. 需要开发客户端和服务端代码;(如何连接集群和集群如何处理数据)
  2. 需要开发集群维护代码;(集群监控、查询集群状态、移除添加节点等)
  3. 支持持久化,但当前仅记录变更日志;若要持久化业务,需在开发服务端和客户端时添加相关代码;

reference

  1. https://juejin.cn/post/6844903630819033095
LinuxCNC开发实战:从安装到EtherCAT配置全解析 本文详细解析LinuxCNC开发实战,从系统安装到EtherCAT总线配置全流程。涵盖实时内核优化、伺服驱动器PDO映射、HAL配置及自定义运动学开发,帮助开发者快速搭建工业级数控系统,提升运动控制精度与稳定性。 阅读详情

相关推荐

Wio-LR1121多频段LoRa模块技术解析与应用实践

LoRa技术作为低功耗广域物联网(LPWAN)的核心通信方案,通过独特的扩频调制技术实现远距离传输与强抗干扰能力。其工作原理基于CSS(Chirp Spread Spectrum)调制,支持动态调整扩频因子(SF)和带宽(BW)来平衡传输距离与数据速率。Wio-LR1121模块作为Semtech LR1121芯片的载体,创新性地整合了sub-GHz、S-Band和2.4GHz多频段支持,配合仅1.35μA的睡眠电流,为跨境物联网部署提供了硬件基础。在智慧农业、工业监测等场景中,开发者可通过SPI接口快速集成

weixin_33742618的博客 417

分布式常用解决方案集合

elastic-job使用了quartz的调度机制,内部原理一致,他可以看作是quartz的一个扩展实现,使用注册中心(zookeeper)替换了quartz的jdbc数据存储方式,此外,elastic-job又支持分片等特殊功能Simple类型作业Simple类型即为简单实现,未经任何封装的类型,需实现SimpleJob接口,该接口仅提供单一方法用于覆盖,此方法将定时执行,与Quartz原生接口相似,但提供了弹性扩缩容和分片等功能;

LANXIAMAO的博客 589

从原理图到GDSII:Virtuoso+Pcell实战避坑指南(以TSMC65nm振荡器为例)

本文以TSMC65nm工艺下的振荡器设计为例,详细解析了Virtuoso环境中Pcell的最佳实践方案,涵盖变量管理、版图设计、Calibre验证等关键环节。通过实战案例和避坑指南,帮助工程师高效完成从原理图到GDSII的转化,特别针对LVS验证和参数化单元设计提供了实用解决方案。

fff88的博客 902

分布式事务的几种解决方案

分布式事务的几种解决方案:2PC,3PC,TCC,最大努力通知,MQ消息事务,可靠消息最终一致性

资深系统架构,深耕高并发研发与 AI 大模型工程化落地。技术栈以 Python (AI/NLP/RAG/Agent) 与 Golang (高并发架构) 为双核心,兼具 PHP 大型应用经验。专注算法落地、复杂系统设计及团队技术赋能 2万+

应急响应靶场练习Linux-web-2

本次应急响应靶机采用的是知攻善防实验室的Linux-2应急响应靶机靶机下载地址为:相关账户密码: root/Inch@957821.(第一个为大写的i,记住要带最后的点.)1.该攻击者的IP为192.168.20.12.攻击方式应该是通过/index.php?user-app-register上传了一个webshell,然后使用蚁剑管理webshell之后再次上传version2.php进行提权.3.攻击者修改了phpmyadmin数据库的管理员密码。

tddkett的博客 2806

RT-DETR改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进RT-DETR颈部网络

本文记录的是利用颈部结构优化RT-DETR的目标检测网络模型。利用改进后的颈部网络,通过跳层连接,避免了在进行反向传播时的梯度消失问题,并且引入跨尺度连接,可以实现不同级别和层次的特征充分融合,获取足够的高层语义信息和低层空间信息交换,从而在大规模变化场景下提高检测性能。GIRAFFEDET: A HEAVY-NECK PARADIGM FOR OBJECT DETECTION-GFPN包含了上述的跳层连接(dense-link和log2nlog _{2} nlog2​n-link)以及跨尺度连接(Quee

Limiiiing的博客 2232

七种分布式系统的解决方案,一次性讲给你听!

虽然定位是有“分布式”、“容错架构”等看起来略显复杂的字眼,但是咱们还是按照老规矩:大白话 + 手绘数张彩图,逐步递进,让每个同学都能看懂这种复杂架构的设计思想。

石杉的架构笔记 1963

复习单片机:动态数码管(1 数码管介绍+2 74HC245 和 74HC138 芯片介绍+3 硬件设计+4 软件设计+5 实验现象)

复习单片机:动态数码管(1 数码管介绍+2 74HC245 和 74HC138 芯片介绍+3 硬件设计+4 软件设计+5 实验现象)

wo12369874的博客 1701

分布式事务几种解决方案

分布式事务 分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。以上是百度百科的解释,简单的说,就是一次大的操作由不同的小操作组成,这些小的操作分布在不同的服务器上,且属于不同的应用,分布式事务需要保证这些小操作要么全部成功,要么全部失败。本质上来说,分布式事务就是为了保证不同数据库的数据一致性。 以商品流水账单为例,我们拆分为商品购买系统,订单系统,支付系统。 用户看中一件商品,点击购买。 商品购买系统响应用户的点击,向订单系统插入一条订单信息。

qq_33449307的博客 1753

提示词工程中的上下文隔离

已经进入context的prompt是没有办法让大模型真正的忘记的,但是可以通过prompt技巧强约束模型的后续推理中“不再使用、不再提及、不再引用”某部分提示词,这其实是一种行为抑制(behavior suppression),并不是删除。

Criss@陈磊 236

C# MES通信从入门到精通(10)——C#使用HTTP的Post和Get方法和Mes系统通信

本文详细介绍了如何利用C#完成与HTTP协议的MES系统进行通信,通过POST和GET方法实现与MES系统的交互,由高级工程师的实战经验总结,实属C#与MES通信领域的葵花宝典!

qq_34059233的博客 3421

数据库修仙筑基篇三——raft重要概念

raft重要概念

growdu的网络博客 905

硬件工程师入门基础知识(一)基础元器件认识(二)

我们的电路输入一般是只有两种状态,0V 或者是其它的高电平(1.8V,3.3V,5V 等),截止状态一般不用怎么考虑,因为如果让三极管的 Vbe=0,自然就截止了,重要的是饱和状态如何保证。也就是说只要 Rb

小幽余生不加糖 1万+

数据库修仙筑基篇二——分布式一致性协议

分布式一致性协议

growdu的网络博客 924

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

百度实习生,以修仙者的角度聊聊怎么学MySQL,不来看看你的修为如何吗?

目录 因为我个人比较喜欢看修仙类的小说,所以本文的主体部分借用修仙者的修为等级,将学习旅程划分成:练气、筑基、结丹、元婴、化神、飞升六个段位,你可以看下你大概在哪个段位上哦! 本文目录: 我为什么要写这篇文章 都这么卷了,是时候好好学MySQL了! 勾勒脑图 练气期 筑基期 结丹期 元婴期 化神期 飞升 联系我 be friends 我为什么要写这篇文章 首先我做一下自己介绍: 大家好,我是白日梦。 大三上学期末尾我尝试投递简历,当时很幸运拿到了度小满金融的offer,今年也就是2021年的3月份入职

qq_41973677的博客 250

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

最强Java修仙之路【附赠BAT修炼资源】,这些核心技能是你必须要掌握的!!

代码尽头谁为峰,一见秃头道成空。 编程修真路破折,一步一劫渡飞升。 众所周知,编程修真有八大境界: Javase-练气筑基 数据库-结丹 web前端-元婴 Javaweb-化神 Javaweb项目-炼虚 流行框架-合体 分布式•微服务-大乘 架构师-飞升 第一部分:JavaSE-练气筑基 Java SE大致可分为以下几块内容: n 对象导论:如何用面向对象的思路来开发 n 深入JVM:Java运行机制以及JVM原理 n 面向对象的特征:封装、继承、抽象、多态 n 数组和容器:容

shayukaifa的博客 1677

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

数据库修仙筑基篇六——corosync编程指南

corosync编程指南。

growdu的网络博客 1069

数据库修仙筑基篇八——corosync-qdevice使用

corosync-qdevice使用

growdu的网络博客 1009

自建开发工具IDE(七)数据库集群智能升级东方仙盟数据库同化,五行八卦排序+游戏修仙,精准补齐差异还能圆武侠梦—东方仙盟筑基期

东方仙盟数据库同化方案,本质上是数据库管理从“批量粗放”向“精准精细”的升级——它以模板为锚,以差异检测为核心,既解决了差异化数据库统一的痛点,又适配多部署场景与独立客户升级需求,更以“配置不留存”等安全设计消除信息泄露风险。无论是中小企业的小规模数据库整理,还是大型企业的超大规模集群管理,亦或是各行业的个性化数据治理需求,都能通过该方案实现高效、安全的同化管理。对于初学者而言,清晰的操作逻辑与分步指南降低了入门门槛,使其能快速掌握核心技能,为企业数据治理筑牢基础。

cybersnow精通 28 门计算机语言,凭借其超凡的技术能力,成功开发过上万个应用,广泛涉及政府、商业、个人等众多领域,甚至在检察院、环保局、公安局等专业场景中也大放异彩。不仅熟练掌握单片机和物联网开发,在软件架构设计方面更是独树一帜,自创了跨平台软件 2429

Java修道之路,问鼎巅峰,我辈代码修仙法力齐天

代码尽头谁为峰,一见秃头道成空。 编程修真路破折,一步一劫渡飞升。 众所周知,编程修真有八大境界: Javase-练气筑基 数据库-结丹 web前端-元婴 Javaweb-化神 Javaweb项目-炼虚 流行框架-合体 分布式·微服务-大乘 架构师-飞升 第一部分:JavaSE-练气筑基 Java SE大致可分为以下几块内容: n 对象导论:如何用面向对象的思路来开发 n 深入JVM:Java运行机制以及JVM原理 n 面向对象的特征:封装、继承、抽象、多态 n 数组和容器:容

Emmliy的博客 1785

数据库修仙元婴篇一——dcf配置解析机制(元数据)

dcf配置解析机制(元数据)

growdu的网络博客 1069

修仙之路还得看自己,我欲成仙,快乐齐天!

众所周知,编程修真有八大境界: 1. Javase-练气筑基 2. 数据库-结丹 3. web前端-元婴 4. Javaweb-化神 5. Javaweb项目-炼虚 6. 流行框架-合体 7. 分布式•微服务-大乘 8. 架构师-飞升 第一部分:JavaSE-练气筑基 Java SE大致可分为以下几块内容: 对象导论:如何用面向对象的思路来开发 深入JVM:Java运行机制以及JVM原理 面向对象的特征:封装、继承、抽象、多态 数组和容器:容器的线程安全问题 I/O和NIO:NIO工作.

p1830095583的博客 502

数据库修仙筑基篇五——c-raft分布式存储方案

c-raft分布式存储方案

growdu的网络博客 537

数据库修仙炼气篇十——repmgr

repmgr repmgr用于管理 PostgreSQL 服务器集群内的复制和故障转移。repmgr 支持并增强了 PostgreSQL 的内置流复制,它提供了一个单一的读/写主服务器和一个或多个只读备用服务器。 repmgr 流复制管理工具对 PostgreSQL 集群节点的管理是基于分布式的管理方式。集群每个节点都具备一个 repmgr.conf 配置文件,用来记录本节点的 ID、节点名称、连接信息、数据库的 PGDATA 目录等配置参数。在完成参数配置后,就可以通过 repmgr 命令实现对集群节点的

growdu的网络博客 2019

Java修仙之路

Java开发者职业生涯要看的200+本书作者:老刘链接:https://www.zhihu.com/question/29581524/answer/684872838来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 入门书籍 《明解Java》- 豆瓣评分 8.5 《Java从入门到精通(第4版 附光盘)》- 豆瓣评分 6 《入门很简单丛书:Jav...

weixin_30268921的博客 629

从韩立结婴看Java进阶:一个10年老码农的修仙式成长指南

结婴不是终点,而是新境界的起点;就像Java专家之路,从来不是学会Spring Boot就能躺赢,而是突破认知瓶颈后的质变。

weixin_52612796的博客 1045
上一篇: 数据库修仙筑基篇四——zookeeper主备集群demo
下一篇: 数据库修仙筑基篇二——分布式一致性协议
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我在数据库世界里修仙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值