开头还是介绍一下群,如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请联系 liuaustin3 ,在新加的朋友会分到2群(接近700人左右 1 + 2)
在2023年3月的最后的一个周六,参加了OB 的开发者大会,实际上那个周里面有三场数据库的会议,我选择了OB,其他的两个因为觉得有广告嫌疑就没有去听。不过在我听完OB的开发者大会后,感觉选择是对的,当然其中还有一个彩蛋,终于和数据库业界的偶像 白鳝(笔名)徐老师进行了F2F的接触,算是这次北京之行的奖励。
为什么说此次谈的是非主流,因为OB的大会,我的感受并不在OB本身,而是一个分论坛的(分论坛里面最小的那个会议室)的关于协同开源的部分,也是针对开发者的一个分论坛。(避免肖像权的问题就隐去了这个帅气的小哥哥)
这里面谈到的是数据库协同开发的问题,其中有一些问题,直接击中数据库运维人员的生存状态和内心。实际上在数据库管理中,不曾忽略的和容易被忽略的问题都是数据的增长,数据的增长属于积累性质的问题,量变产生质变,而当产生质变的情况下,可能就产生了问题,或者大问题。
而数据的增长本身,并不是光指向我们的单纯的数据增长,你的表的数量,你的表的字段数量,你的索引的数量等等都是一个随着业务的增长快速爆发和持续爆发的状态。
而数据库本身的稳定性是一个现代基于信息科技为中心的公司业务能下去的关键之一,而数据库又不幸的成为一个众矢之的,烂SQL,错误的表设计,错误的分库分表设计,错误的不分库分表设计,错误的ETL 设计,错误的OLAP +OLTP 的使用,错误的数据量承载等等都是产生数据库问题的诱因。
关键的部分,但分配的管理人员是持续下降的,当然如瑞典马工一类的People认为DBA 应该消失的这样的概念也是存在的,从行业的表现来说,DBA 对于开发人员的数量的对比,是持续的下降,部分情况下 100/1 1000/1 的情况都是存在的。(实际上我们就存在这样的情况 70-80 比1是有的,而且不同的数据库种类多大4-5种)
如何管理,爆发式的数据库INSTANCE 和 数据库本身的数据量,功能特性变得越来越困难,原有的DBA 的粗放型管理方式,不行了,无法继续。
而DBA 的工作量和工作的范畴却相反在增加,那么一个问题,怎么管理数据库和持续增长的需求。不同的企业,有不同的方案,大致总结有四种方案,或者混合型的方案。
核心的问题
1 整合系统,将多种不同的系统进行整合,合并资源,避免商业软件之间的功能重复导致的费用无效花费的情况
2 管理登陆与风格的统一,降低DBA 使用不同的产品造成的学习成本和操作成本的提高
3 尽量摆脱云产品,云产品单一,限制多,可复用性低,不适合混合云的使用和管理
4 可以插件式的集成平台,而不是单打独斗的某个软件产品
协同开发是未来数据库管理的必经之路
什么是协同开发,名字很新颖,但是大白话就是,自助式服务,集中集成式一体化服务。
这就类似于一个企业 DBA 的ERP 软件,如SQL 审核,数据脱敏,工单执行,历史知识库,以及SQL 优化和改写等等等,每个功能都不是太有新意,但组合起来就有了新意。
另一个问题是,如MONGODB ,REDIS 等这样的数据库产品的管理软件缺乏的厉害。相对于国内,国外的数据库商业管理产品成熟度是高的,并且都在往 SAAS 的平台化发展。
相对于国内市场,国外的产品无论在成熟度,产品的管理数据库的类型以及管理的方式都是可以借鉴和学习的。
实际上数据库工具的工作范畴,除了SQL 开发,系统稳定,安全合规,系统工作以外,针对数据库运行的变动方便的系统基本是没有的,但基于数据量变化和数据库的状态的变化,这个产品是一个应该补充和进行部署的部分,尤其在DBA的数量越来越少的今天。(基本上没有人开发这样的产品)数据库的产品还都占据在被动型产品的研发和推出中。
同时基于不同云的混合云数据库管理产品基本上也是没有的,混合云的管理还是混乱的和无效的,没有集成化的工具。
所以基于以上的一个会议和思考,目前的工具同质化严重,基于开发者自己的开发系统的方案多,基于客户和商业思考的工具少,重复购买功能重叠的问题严重,包含像阿里云自己的数据库产品都存在互相竞争的问题,更不要提外部的工具的互相合作和集成化。所以基于数据库集成化管理和协同工作的工具暂时是一个空白,希望相关的数据库研发和厂商注意数据库整体风向的变化和相关工具的研发和推出。
挺感谢这次OB 组织的数据库开发者大会,收益良多,本文就记录了一个数据库大会中,旁边一个小会场的思考。