DBA 会架构,实际案例分析--“IT流氓”得下跪

开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共2790人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 +9)(1 2 3 4 5 6 7群均已爆满,开8群260+ 9群)

这个世界太疯狂,玩数据库的,都要懂架构,那架构师干嘛去? 在这个谁能,谁上的世界,搞数据库的能不能玩架构,我觉得可以,至少那些扣在数据库上的翻不了身的锅,就的有地方说到说到了。

我们先不说大道理,我们以一个实例来说明,为嘛数据库不懂架构吃亏。

A项目,是一个综合类的项目,对接着B、C、D、E、F多个其他项目,A项目为部分项目的基础数据,同时A项目也接受其他项目推送来的业务数据。A项目的数据库经常出问题,这里总结经常出什么问题。

1  经常有其他项目的大事务推送过来,且密集型UPDATE,INSERT。

 2  经常需要给其他项目进行基础数据推送,当其他项目的基础数据出现故障或不统一的时候,需要进行统一拉取数据。 

3  A项目本身就是一个业务繁忙的项目,自己本身的DML 就比较多,DDL 也经常有,因为要对接其他的项目,其他的项目的字段变化了,这边也要变化,添加字段了也要添加字段。

这就导致以下几个问题

1 A项目的表宽表多

 2 A项目的表数据量大 

3 A项目的表经常发生死锁和BLOCKED 

4 A项目的表将从被全表读取,因为要拉取数据

最终导致A项目的数据库经常告警,不是CPU,就是内存,IOPS持续的告警。

我们按照DBA的等级来给出处理方法

1 添加索引,优化SQL,建立规范,减少误操作。

这样的解决方法,只能解决简单的问题,而当上面的B C D E F,IN OUT ,大事务一来,马上就歇菜。

2 更换数据库产品

作为DBA架构,那么如果是这样的情况,第二个祭出的方案就是更换更强有力的数据库产品,通过技术来化解这些问题,比如更换吞吐量更大的分布式数据库,或者将其他的数据库产品引入,如REDIS,MONGODB ,但这样的解决方案,很多情况下会落空,因为项目改动量太大,架构师未必答应,同时备不住反过来还给你DB扣帽子,把三维问题,给你打回二维,继续说你SQL优化的不好,没有加好索引,等等技术问题。

3 DBA 升级思维模式,升级为架构师思维模式

1 架构思维第一式: 拆分法

如上图,如果 B C D F 项目不讲究,经常推送大事务,突发事务,DELETE 操作等给A项目,造成A库承担了太多的业务属性,那么首先就要祭出拆分法。

拆分法本身是从业务出发将一些可以拆出与A项目业务核心无关的,但属于对接的信息拆出,比如如,配置信息,基础信息,业务对接信息,只要与A项目实时业务无关的信息都挑出去。

结果:A项目本身的性能的问题将只和自己的业务有关,此时在祭出低维度的解决方案如,SQL优化,索引优化,先进的数据库技术将本身的问题解决。

至于与A项目无关的部分,什么B项目推送大事务了,F项目经常拉取档案数据,C项目经常丢失配置信息了,D项目经常拉取核心信息,都将这些放到另外一个库。

那么这里属于解决自己的问题,将矛盾激化的阶段,在处理一些棘手问题的方法,现将自己置身事外,然后激化矛盾,那么这里A项目的矛盾就从内部矛盾,变成外部矛盾。

你可以说,这是B项目因为推送大事务,导致锁表,所以F项目你拉取数据的任务无法完成,也可以和C项目说,因为D项目经常丢失数据,整体拉取数据,导致A的IOPS高,你UPDATE的时候正好赶上,所有有延迟。

那么方案可以继续优化,比如我们将经常拉取的数据缓存话,A库对外的信息拉取部门将变成REDIS的数据库,满足B快速拉取的问题。同时将F库快速的大事务的数据库转成 MOGNODB,这样外部的A库就变成了。

上图的样子,整体的问题很可能会进一步化解,当然问题可能还没有完全解决,A 库中C和D两个一个需要写入,一个需要读取,同时读写分离还要求数据的时效性,也就是 C 和 D 之间的业务是上下游的问题,D希望C 库立即交付数据。

那么这里DBA架构对于数据库的理解能力,和丰富的知识程度就显现了,MYSQL首先就被封杀,通过BINLOG 进行主从复制将读写库解耦的方法,不能满足业务的要求,首先就被抛弃。

那么可以满足读写分离,主从一致的数据库的名录里面,如MongoDB,PostgreSQL,SQL SERVER, ORACLE,或者我们可以选择主从强一致的数据库 POLARDB for MySQL, POLARDB FOR PostgreSQL 来做支持,如果实在阿里云上的话,且这两者的数据强一致性是建立在高性能的模式,也就是主库写完,从库必须在20ms内显现主库的数据,这样的方案基本上满足 C 写数据,D要读数据,读写分离解耦,但满足数据一致性的要求,且也能满足A项目自己对数据的获取,因为如果读取的节点性能无法满足,POLARDB 可以制造出 15个从节点,且数据强一致。基本上读写分离数据强一致的老大难问题就从数据库这个角度解决了。当然有可能有人会说,那 A 库和 A库之间数据同步的问题呢,我们可以找到一些即时性的CDC软件来解决,如TapData,上一秒写数据到数据库,下一秒就可以传到另一个库里消费。

此时一个DBA如果有如此的境界,来解决问题,很多的黑锅想扣到他脑袋上,估计是难了!! 八张嘴等着那些不长进的家伙呢?DBA 会架构,看谁还敢轻易欺负DBA。

置顶

数据库的 4月1日 愚人节,我没有被愚弄 !

搞 PostgreSQL多才多艺的人--赵渝强 《PG数据库实战派》

追逐太阳的男人--林春 《金融数据库转型实战》

数据库的 4月1日 愚人节,我没有被愚弄 !

数据库界的“申公豹”,带云DBA走出--救生筏困境!

阿里云DTS 产品,你真让我出离愤怒,3年了病还没治好???

让数据先“活”起来,如何实现数据在企业中的最大价值

专访唐建法-从MongoDB中国第一人到TapData掌门人的故事

ETL 行业也够卷,云化ETL,ETL 软件不过了

天上的“PostgreSQL”  说 地上的 PostgreSQL 都是“小垃圾”

宇宙的“PostgreSQL” 说 “地球上的PG” 都是“小垃圾”

云数据库核爆在内部,上云下云话题都是皮外伤!--2025云数据库专栏(二)

云原生 DB 技术将取代K8S为基础云数据库服务-- 2025年云数据库专栏(一)

临时工:数据库人生路,如何救赎自己  -- 答某个迷茫DBA的职业咨询

阿里云DTS 产品,你真让我出离愤怒,3年了病还没治好???

PostgreSQL 相关文章

PostgreSQL的"犄角旮旯"的参数捋一捋

PostgreSQL逻辑复制槽功能

PostgreSQL 扫盲贴 常用的监控分析脚本

“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!

PostgreSQL  添加索引导致崩溃,参数调整需谨慎--文档未必完全覆盖场景

PostgreSQL 的搅局者问世了,杀过来了!

PostgreSQL SQL优化用兵法,优化后提高 140倍速度

PostgreSQL 运维的难与“难”  --上海PG大会主题记录

PostgreSQL 什么都能存,什么都能塞 --- 你能成熟一点吗?

PostgreSQL 迁移用户很简单 ---  我看你的好戏

PostgreSQL 用户胡作非为只能受着 --- 警告他

全世界都在“搞” PostgreSQL ,从Oracle 得到一个“馊主意”开始
PostgreSQL 加索引系统OOM 怨我了--- 不怨你怨谁

PostgreSQL “我怎么就连个数据库都不会建?” --- 你还真不会!

病毒攻击PostgreSQL暴力破解系统,防范加固系统方案(内附分析日志脚本)

PostgreSQL 远程管理越来越简单,6个自动化脚本开胃菜

PostgreSQL 稳定性平台 PG中文社区大会--杭州来去匆匆

PostgreSQL 如何通过工具来分析PG 内存泄露

PostgreSQL  分组查询可以不进行全表扫描吗?速度提高上千倍?

POSTGRESQL --Austindatabaes 历年文章整理

PostgreSQL  查询语句开发写不好是必然,不是PG的锅

PostgreSQL  字符集乌龙导致数据查询排序的问题,与 MySQL 稳定 "PG不稳定"

PostgreSQL  Patroni 3.0 新功能规划 2023年 纽约PG 大会 (音译)

PostgreSQL   玩PG我们是认真的,vacuum 稳定性平台我们有了

PostgreSQL DBA硬扛 垃圾 “开发”,“架构师”,滥用PG 你们滚出 !(附送定期清理连接脚本)

DBA 失职导致 PostgreSQL 日志疯涨

OceanBase 相关文章

OceanBase 6大学习法--OBCA视频学习总结第六章

OceanBase 6大学习法--OBCA视频学习总结第五章--索引与表设计

OceanBase 6大学习法--OBCA视频学习总结第五章--开发与库表设计

OceanBase 6大学习法--OBCA视频学习总结第四章 --数据库安装

OceanBase 6大学习法--OBCA视频学习总结第三章--数据库引擎

OceanBase 架构学习--OB上手视频学习总结第二章 (OBCA)

OceanBase 6大学习法--OB上手视频学习总结第一章

没有谁是垮掉的一代--记 第四届 OceanBase 数据库大赛

OceanBase  送祝福活动,礼物和幸运带给您

跟我学OceanBase4.0 --阅读白皮书 (OB分布式优化哪里了提高了速度)

跟我学OceanBase4.0 --阅读白皮书 (4.0优化的核心点是什么)

跟我学OceanBase4.0 --阅读白皮书 (0.5-4.0的架构与之前架构特点)

跟我学OceanBase4.0 --阅读白皮书 (旧的概念害死人呀,更新知识和理念)

聚焦SaaS类企业数据库选型(技术、成本、合规、地缘政治)

OceanBase 学习记录-- 建立MySQL租户,像用MySQL一样使用OB

PolarDB 相关文章

“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!

PostgreSQL 的搅局者问世了,杀过来了!

在被厂商围剿的DBA 求生之路 --我是老油条

POLARDB  添加字段 “卡” 住---这锅Polar不背

PolarDB 版本差异分析--外人不知道的秘密(谁是绵羊,谁是怪兽)

在被厂商围剿的DBA 求生之路 --我是老油条

PolarDB 答题拿-- 飞刀总的书、同款卫衣、T恤,来自杭州的Package(活动结束了)

PolarDB for MySQL 三大核心之一POLARFS 今天扒开它--- 嘛是火

MySQL相关文章

MySQL SQL优化快速定位案例 与 优化思维导图

"DBA 是个der" 吵出MySQL主键问题多种解决方案

MySQL 怎么让自己更高级---从内存表说到了开发方式

MySQL timeout 参数可以让事务不完全回滚

MySQL 让你还用5.7 出事了吧,用着用着5.7崩了

MySQL 的SQL引擎很差吗?由一个同学提出问题引出的实验

用MySql不是MySQL, 不用MySQL都是MySQL 横批 哼哼哈哈啊啊

MYSQL  --Austindatabases 历年文章合集

MongoDB 相关文章

MongoDB  大俗大雅,上来问分片真三俗 -- 4 分什么分

MongoDB 大俗大雅,高端知识讲“庸俗” --3 奇葩数据更新方法

MongoDB 学习建模与设计思路--统计数据更新案例

MongoDB  大俗大雅,高端的知识讲“通俗” -- 2 嵌套和引用

MongoDB  大俗大雅,高端的知识讲“低俗” -- 1 什么叫多模

MongoDB 合作考试报销活动 贴附属,MongoDB基础知识速通

MongoDB 年底活动,免费考试名额 7个公众号获得

MongoDB 使用网上妙招,直接DOWN机---清理表碎片导致的灾祸 (送书活动结束)

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- MongoDB 数据模式与建模

MongoDB  双机热备那篇文章是  “毒”

MongoDB   会丢数据吗?在次补刀MongoDB  双机热备

MONGODB  ---- Austindatabases  历年文章合集

临时工访谈系列

没有谁是垮掉的一代--记 第四届 OceanBase 数据库大赛

ETL 行业也够卷,云化ETL,ETL 软件不过了

SQL SERVER 系列

SQL SERVER维保AI化,从一段小故事开始

SQL SERVER 如何实现UNDO REDO 和PostgreSQL 有近亲关系吗

SQL SERVER 危险中,标题不让发,进入看详情(译)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值