❝开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共2800人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 +9)(1 2 3 4 5 6 7群均已爆满,开8群约300 9群 100+)
哈呀站--广州OB数据库开发者大会,是的在2025年5月17日在广州最知名的超高建筑内,举办了OB 开发者大会,本次应邀和另外四位老师在数据库AI的小舞台,讲述我们每个人对于数据库发展和历史的认知。
本篇文章的也是属于广州OB数据库大会之5人小舞台。我想在大时代的背景下,用我们此次小舞台的周边,用一个侧面来印证数据库在快速发展的事实。
我个人对于大时代下的每个人对于时代的解释和理解,是十分感兴趣的,正因为大千世界,每个人的认知和理解都是不同,我并不想从一个“通俗”的路径去表达本次我对OceanBase数据库开发者大会的理解,我想通过一个一个的侧面来佐证,数据库正在快速发展的事实。
本次小舞台的“演绎”者,有大家熟悉的,梁老师,韩老师,薛老师,以及我们的小尹。在此次小舞台如何演绎上,我们实际上是开会小会的,最终我们将我们每个人对于数据库发展历程,和个人的认知代入到这次的小舞台中,想通过大大的世界,小小的“我”对数据库发展和变化的理解,来获得众人的共鸣。此间,每个人的特点也都展露无遗,有小尹的灵活,韩老师的老道,薛老师的包容,梁老师的敬业,和我的借位。(抱歉拍照水平还有待提高)





每个老师都在用力的用自己多年对于数据库工作中变化和感受,去解读数据库发展给我们带来的冲击和感受。因为每个老师都对数据库,对于OB都有每个人独到的见解,所以我这里也不敢造次,去用我的理解来阐述其他老师对于数据库和OB的解读,不过三人行必有我师,我必然也是从其他老师身上收获满满。
这里我仅仅对我的部分进行简单的分享。





正文:
大家好,此次大会是OceanBase 开发者大会,下面我将从一个架构师的角度来和大家一起进入第四个主题,汪洋式的数据。
汪洋式的数据有两个含义,单从字面意思上,大家可以理解为,数据量的大,这里隐含的意思,是从数据的形式,和处理的方式的多样性。这些数据量和多种多样的数据形式是从哪里来的呢? 这就要从我们的业务和需求上来说这个问题。
脱开业务和架构单纯去说数据库是偏激且独断的,随着我们业务发展,和企业对客户服务完善,越来越多的信息被显示和告知给客户,同时信息的完整性和时效性越来越重要,这就让信息快速的递增,以幂等的方式进行传输和存储。这也就是我们的数据量变得越来越多的主要原因之一。如我们熟悉的时序性数据,地理位图数据,以及我们现在火热的 AI向量数据。这些都是业务催生,技术实现后的产物。
遥想数据最早,以二维表格的方式存在,而现在这些已经远远不能满足我们现代数据要表达的含义的多样性,随着我们的IT技术不断的发展,我们在2005年引入XML形式数据,主要服务于配置,报文,不同机构的信息传递,而到了2012年JSON数据库的引入彻底激发了另一个数据存储的存储市场,NOSQL。这些数据主要服务于我们的前端后端等等开发部门,直接将我们带入敏捷开发的这样一个时代。
其实在这里数据库一直是被动的,因为我们按照先后感知的顺序,从业务,架构,后端,在传导到数据库,数据一直是一个最后感知变化的部分。这里我们也列出来我们今天的主题汪洋大海式的数据,产生原因,客户的需求,极致服务,传导到架构的复杂性,这也是我们架构和开发者所面临的问题。
同时我们需要注意的是,在新的开发方式和AI的出现后,我们可以看到,以数据库容器化为数据库代表的一个时代要结束了,数据库能承载更多的数据,承担更多复杂的数据处理,减轻业务架构的复杂性,降低开发成本,成为了新时代数据库的一个标志,这是我从一个架构师的角度来分析。
数据库应该具有,架构的简便性,灵活的扩展性,作为基础架构的可靠性,现代的数据库在AI开发环境的加持下,数据库提供的服务,应该像自来水,煤气一样作为基础设施提供给开发者。从架构师的角度看,以前的一些数据库对于开发者的限制,摧残,和限制与束缚应该终止了。
一个数据库必然要具有多种功能,可以承载多种数据库的数据类型,并进行快速的计算,是现代数据库的基础,尤其在存储和计算上。
所以我们提出了HTAP的能力是一个数据库应该具备的基本能力,尤其在一些行业里面,如SAAS商业,很多客户都是要即席数据分析,大数据再有能力也摆脱不了数据链路长而导致的客户对于处理环节的数据缺失,放大,缩小,导致的结果不准确而产生的失望和不满意的结果。同时客户的需求灵活性,也导致大数据在现代开发中,成为企业服务客户最后一公里的绊脚石。
从架构的观点,一个先进的数据库产品,他应满足上述的需求,如行列存在于一个存储节点上的,满足了数据处理中处理引擎对于行列数据搜索和获取的及时性的要求,SQL可以变成满足客户任意需求的解决方案。
HTAP并不是一个专攻OLAP的产品,而是解决当下大部分业务系统中,客户的各种需求下以SQL为快速解决方案的一个事实。尤其在降低开发成本的浸提,一个语句可以解决的数据获取的问题,为什么我要用更复杂的架构和程序代码去解决,除了提高架构的复杂程度,增加故障率。同时一些数据库在HTAP解决方案中,使用了向量化引擎,同时加以并行处理的模式来完成任务,充分利用现代硬件的强悍的计算力。还有一些数据库提供了分割HTAP中OLTP的关键资源的占有性,通过租户和资源的划分,可以有效的限制OLAP抢占OLTP资源的问题。这才是一个先进且现代数据库应该提供的 “煤气”和“自来水”,而不是因为一个数据库就将架构和开发的经历耗光,分库分表,各种中间件的两段式提交,这不应该出现在2025年的今天了。
多模数据的处理上,业务与开发所要求的是数据库能做的事情,其重点在于降低开发成本,我们可以举一个例子,实际上JAVA程序可以模拟很多数据库上处理数据的功能,比如两段式提交,但开发产生的成本转嫁会非常高,应用开发变成了基础技术开发,这就如同我们不能因为要吃一碗饭,而现在去种庄稼。
所以数据库在多模上的作用和我们之前提到的观点是一致的,他是基础设施,基础设施从架构师的观点来说,对外展现的越简单越好,那么一些数据库产品继承,KV ,JSON,XML,GIS,向量等数据存储和计算的功能是在正常不过了。在需要通过SQL进行解析的数据中,JSON ,XML ,GIS ,向量等,新型数据库的SQL引擎进行了优化,SQL引擎会自动识别你的访问,是传统的数据还是特殊的数据类型,新型的数据库是一个好的数据库基础设施的提供者,这样非常有利于降低开发和运维的成本。
基于时间的问题,我们简单的梳理一下,现代数据库产品,无论在数据量还是丰富的数据类型的支持上,都相对于原有的数据库产品有了质的飞跃,在数据处理的功能上也趋于自动化,半自动化,数据库产品正在往综合类的数据处理平台进行过渡,和维度的提升。
此次大会,热闹非凡,在我们这边热热闹闹的吸引观众驻足我们的演讲,而在我们对面,我们熟悉的二位大咖老师,也在展现个人魅力,吸引他们的追随者。
我也遇到了很多老师,一见如故,感谢此次大会给了我们这样一个机会千里想见。
人生如同一段段的镜头,当你在闲暇的时候,去回想一段段人生记忆珍贵的片段,证明你曾经在这个世界也展现过自己,也有很多人和你一起在燃烧自己的生命,去体会生命的魅力,祝看到文章的朋友,都如同这首歌,冲上云霄,哈呀站,广州-OB开发者大会。
人生多少“惊喜”,情感有若行李,可随身也可托运,飞行天气不似预期,但总要飞,总要走,道别并不必要,你我愉快的记忆,将带着彼此冲上云霄,当世事没有完美,我在岁月如歌中,找你!-- 哈呀站,广州-OB开发者大会!!
您一定想支持一下生命的绚烂,您可以给投上您珍贵的10票,不胜欣喜!!!
https://zt.itpub.net/topic/peanit/list.html?id=307635