自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

从底层逻辑去思考技术,去拥抱变化

数据库/大数据/人工智能

  • 博客(147)
  • 收藏
  • 关注

原创 七座城堡⑤ 图(下)

老柯:是的,我们建一座图数据库城堡,把相关的数据同步到图数据库城堡来,然后转化成图数据库的格式,就可以找到有缘人了。不过有趣的一点是,这个图数据库是一种处理关系的非关系型数据库,我们将要采用的架构是NoSQL架构,之前我说的KV数据库是NoSQL的一类产品,而这个图数据库是NoSQL的另一类产品。老柯:图数据库是一种专门用来存储和处理对象之间的关系的数据库,它可以直观地展示对象间的关系,与关系型数据库有着很大的差异,是以节点(Node)和边(Edge)为核心构建的。那我们该怎么做,建一个图数据库城堡?

2025-04-10 11:17:47 54

原创 七座城堡⑤ 图(上)

正文告知了游戏规则:盒子有十层,第一层都要根据既定的要求找到1号有缘人,然后根据1号有缘人的信息打开第二层盒子找到2号有缘人,以此类推,直到在第十层查到10号有缘人信息,即真正要找的有缘人。老王:看来冥冥之中有一股神秘的力量在牵引我做正确的事,这些年的努力,基本上全国所有行业纸质的记录都已经信息化了,神秘预言里要找的有缘人,我想在数据库城堡中应该可以搜到,看来今天和你一起揭秘是一个明智的选择,老柯,找到这个有缘人的任务就交给你了。老柯说着,便于老王一同来到了OLAP城堡最高处的控制台,开始寻找有缘人了。

2025-04-10 07:27:59 304

原创 小朋友都能懂的人工智能⓹-不可思议的大模型(下)

比如《三国演义》的第一句,“话说天下大势,分久必合,合久必分。周末七国分争,并入于秦。”机器见到这句话后大喜过望,赶忙去自己的向量空间去找到第一个词“话“和第二个词”说“,把它们的向量拿过来一通计算...

2025-04-09 16:27:31 424

原创 小朋友都能懂的人工智能⓹-不可思议的大模型(中)

2025年的第100篇原创,值得留念!若本文点赞数超过100,后续将推出以自己经历为原型的技术小说《技术人江湖》

2025-04-09 11:23:00 854

原创 小朋友都能懂的人工智能⓹-不可思议的大模型(上)

事实上不只是《静夜思》,任何知识类的问题它都能对答如流,如果数据都存在其内部,那ChatGPT存储的内容得覆盖绝大部分的网页文本、书籍、维基百科、科学论文、社交媒体、专业文献、新闻、报告....才能做得到。问题来了,这可是要存储海量数据啊。

2025-04-09 08:09:32 716

原创 七座城堡④ 时序(下)

读写更快、设计灵活固然重要,其实最关键的还是NoSQL数据库的分布式能力,在允许淡化ACID的情况下,分布式架构的设计变得容易了很多,而关系型数据库受限于严格的数据模型结构,难以解决分布式事务等难题,在分布式架构上实现的难度较大,性能也难以突破。所以我的初步想法是,建一个基于NoSQL架构的KV数据库,来应对我们的时序场景。这个KV的模式其实是非常灵活的,简单的Key和Value还是有玄机的,这个Value除了存储具体的值,比如刚才那个温度值,还能存放存放设备之间的关联关系,类似维护一个字典。

2025-04-08 11:20:04 325

原创 七座城堡④ 时序(上)

不过,无论快乐王国数据1.0时代还是2.0时代还是3.0 时代,他们都有一个共同的特点,就是都是围绕着人,而接下来,我们要拥抱新的成员了,那就是物,物其实和我们人一样,也是有身份信息的,同样能留下各种数据。我们不仅需要知道人是什么样的人,也要知道物是什么样的物,比如通过流水线各设备的运行状态收集,让人明白这些设备是什么样的设备,能否胜任当下工作。很快,HTAP城堡建好了,老王在老柯的陪同下登上了HTAP城堡的最高处,看着井然有序工作着的三个城堡,老王很是满意,心想现在不会再遇到什么困难了吧。

2025-04-08 11:19:38 799

原创 小朋友都能懂的人工智能⓸ -狗大师的修仙之路(下)

同样,通过学习大量的人类高手棋谱及自我对弈产生的棋谱后,AlpahaGo就对各种各样的局面进行了分类总结,可以类比为识别出什么样的棋型是死棋,什么样的棋型是活棋,什么样的棋型是危险的,什么样的棋型是安全的,什么样的棋型是厚的,什么样的棋型是薄的…关键是,棋感的提升是可以通过不断的迭代中,反复提升的。L:是的,OpenAI公司推出的通用大语言模型Chatgpt无论是实现复杂度还是资金投入,都远超Google的Alpha系列,这是一个更为颠覆的产品,对社会产生了深远的影响,和每个人的命运都息息相关。

2025-04-08 08:09:48 670

原创 小朋友都能懂的人工智能⓸ -狗大师的修仙之路(中)

这样所有可能出现的流程数量可用361的阶乘来估计,大约为10的768次方,这里尚未考虑棋子被吃后,空出的地方依然可落子的情况。棋力弱的思考的方向往往不太对,在错误的方向行棋,想的再多也不会有太好的结果,而棋力强的思考的方向往往是对的,在正确的方向行棋,即便无暇细算也不容易出现太差的结果。C妈:会不会是150分钟还不够,如果给业余棋手更多的时间,让他把棋的各个方向都考虑一下,逐一比较选出最佳一手,这样应该能赢吧,毕竟职业棋手的思考时间太少了。C:我明白了,AlphaGo和这位职业棋手一样,也有直觉。

2025-04-08 08:09:20 619

原创 小朋友都能懂的人工智能⓸ -狗大师的修仙之路(上)

你对选点可行性进行计算验证的思路,依然和AlphaGo是一模一样的,其对应的专业名词为蒙特卡洛树搜索。L:是的,小A,当你觉得某些地方可以拼一拼时,你会立即落子呢,还是会沿着这些选点往下计算,等可行性验证完毕后再落子。L:你觉得没有什么特别的,可对围棋AI而言,有这样人类棋手的思考方式,可是不得了的事了。A爸:L老师,难道就是因为有了类似人类棋手的思考方式,阿尔法狗才变厉害的吗?L:大家好,又见面了,今天就来和大家探索一下阿尔法狗强大的秘密。A:有意思,原来阿尔法狗和我们人类棋手思考方式是一样的啊。

2025-04-08 08:08:52 361

原创 七座城堡③HTAP(下)

老柯:有了这个铺垫就好说了,当一个公民的身份信息从单一属性变成了多属性时,很多交易场景就变得更加复杂了,同时判断这个人是一个什么样的人,那这就让交易变得更复杂了。比如以前一笔简单的交易很快就完成了,现在有了你是什么样的一个人这层因素在里面,就会变成先评估你的风险,再交易。老柯:您知道OLTP是行存,OLAP是列存,其实这种边交易边分析的HTAP我们可以考虑行列混存,比如某表需要高频插入,然后随即就要被拿去分析了,这时候就可以先以行的格式进行插入,每达到一定记录数或者尺寸时,再转成列的格式存储。

2025-04-07 11:11:18 852

原创 七座城堡③HTAP(上)

老柯:老王,建完OLAP城堡之后,我们把OLTP城堡中需要分析的数据同步到了咱们这座OLAP城堡来,这样需要复杂查询分析的工作就都交给这个OLAP城堡了,在OLAP城堡里表都被设计为列存储模式,并且都有着极高的压缩比,再加上增加并行度和灵活分配内存等手段的结合,如今查询分析的工作性能大幅提升了。与此OLTP城堡因为没有了分析的需求,资源释放了许多,压力也得到了一定程度的缓解,此外由于有了这个OLAP城堡,原先OLTP城堡的历史数据可以迁移到OLAP城堡中,这样不仅释放了空间,还进一步提升了性能。

2025-04-07 11:10:55 759

原创 小朋友都能懂的人工智能⓷ -惊世骇俗的阿“狗”故事(下)

终局后MuZero在想,黑棋为什么就被判输啊,慢慢就明白了“地多者胜”;AlphaGo淡出围棋圈后,其公开的论文成为了围棋AI江湖的武学宝典,Leela Zero、KataGo、绝艺、星阵等围棋AI接过了AlphaGo手中的大旗,成为了围棋AI中耀眼的明星,并解决了AlphaGo留下的诸多不足,实实在在推进了围棋AI的发展,在提升人类棋手棋艺方面,做出了巨大的贡献。L:是的,各围棋AI基本都做到了,其中典型代表就是星阵围棋,多次获得AI围棋世界大赛的冠军,号称不退让围棋,不走自己心中认定的最佳变化不罢休。

2025-04-07 08:39:43 976

原创 小朋友都能懂的人工智能⓷ -惊世骇俗的阿“狗”故事(中)

L:是难以想象,AlphaGo不仅抛弃了人类棋谱,还跨越了围棋本身,在消除人类知识的束缚后,变得越来越强!L:2017年10月,Google推出了AlphaGo Zero,该版本仅依靠自我对弈,无需任何人类棋谱,从零开始自学围棋,仅经过3天的训练…A爸:L老师,您说AlphaGo Zero依靠自我对弈,无需任何人类棋谱,那就是说AlphaGo Lee和AlphaGo Master有依靠人类棋谱,是吗?C妈:妈呀,4小时,2小时,分别打败不同领域的最强者,难以想象!L:是的,A爸说得有道理。

2025-04-07 08:39:09 341

原创 小朋友都能懂的人工智能⓷ -惊世骇俗的阿“狗”故事(上)

L:是的,结果大家也都知道了,李世石以1:4的成绩不敌AlphaGo,不过唯一的一胜却值得大书特书,李世石在第四局下出了实际不成立,却击中AlphaGo Bug的第78手,神之一挖,杀的AlphaGo方寸大乱,取得了畅快淋漓的一胜。L:是的,Google没有对外说明其实力的进步,让外界对李世石获胜寄予厚望,套路确实深。此次决战万众瞩目,总观战人数过亿,堪称围棋史上的奇迹,结局更是轰动全世界,AlphaGo的一战成名,让Google成为了最大的赢家,市值连续大涨。L:是的,不得不佩服谷歌的霸气。

2025-04-07 08:38:08 512

原创 七座城堡② OLAP(下)

比如前者针对工资表查的往往是:城市,公司,部门,姓名,工资,奖金,满勤奖,社保金额,医保金额,公积金金额,总收入,月份…“我们可以考虑压缩手段啊,列存模式下,数据块里都只存某一列的数据,那这一列的数据类型是一模一样的,压缩比就会非常的高,你去想象一下行存,数据块里完整的是行数据,就是每一列都保存进去了,那数据类型差别很大,压缩的效果就很一般。“我明白了,因为OLAP一般会遍历大部分的记录,但是往往只会访问少数的列,这样如果列存的话,很多列不需要访问了,那扫描数据块的数量就会大幅减少,从而提升性能。

2025-04-06 14:59:28 1003

原创 七座城堡② OLAP(上)

我们再来看看数据规模也会不断扩大,身份信息有便捷的核验功能,可实现线上线下的打通,从而让很多业务就从线下转移到线上,实现了运营效率的极大提升,当然了,各种交易信息、行为轨迹也自然会让数据规模大幅增长。“老王,由于我们用了各种优化手段,比如索引优化、执行计划优化、读写分离等等,还是撑住了来自四面八的身份信息调用的请求压力,但是真正让我们快要撑不住的,是来自各个主要国家部门,也就是您的智囊团队的数据分析请求压力。听到这里,老王很是高兴,心里也暗想,哼,老安,你是跑不掉的。“啥,这是啥情况,我有点听糊涂了。

2025-04-06 14:58:11 877

原创 小朋友都能懂的人工智能②卷机神经网络初探(下)

L:在网络的最后,有一个输出层。我们可以这么做,把每4个格子为单元,找出最大的那个数,其他剔除,这样组成一个比较小的特征图,却依然保留了原来特征图的重要信息,我们仍然可以看出这是一条右下斜着的线条。做完这个有啥用呢,我们分析就明白,卷积核只有斜着的三个元素是1,所以原来那张图上如果斜着的这三个元素也是1的话,最后一做卷积,这个数字就会变大,我们在特征图上找那些数字特别大,这就是提取到的特征了。A:肯定啊,我和爸爸都是围棋5段,我觉得计算是最重要的,我们下不过阿尔法狗,就是因为它的计算量太大了。

2025-04-06 10:25:23 575

原创 小朋友都能懂的人工智能②卷机神经网络初探(中)

CNN涉及到复杂数学模型,大家理解起来是比较困难的,不过有趣的是,神经网络和我们人的认知模式很相似,所以大家还是比较容易理解的。认为人的大脑里有很多的皮层,是一层一层对视觉信号进行处理的。L:小A,其实你一眼看到的并不是我,而是一个一个的像素点,这些像素点进到你的脑子后,首先会抽象出边缘和方向信息,你发现我是直立行走,应该不是一只猫。提到了神经网络模型,同时也说明了依据这个模型可以提取到一些猫的特征,比如尖尖的耳朵等,同时也说明了机器根据反馈机制来试错,从而调整自己的理解,最终真正了解到猫。

2025-04-06 10:24:25 307

原创 小朋友都能懂的人工智能②卷机神经网络初探(上)

L:如果只有两位的数字,那只有00、 01、 10、 11这4种组合,确实没法玩了,但是位数可不止这么少哦,比如英文字母对应的就是八位的编码,理论上有00000001、00000010、00000011、00000101…L:放心,一个是字母,一个是数字,它们的类型不同,计算机在存储它们时已经根据规则将它们打上了类型标识,这样不就区分开了啊。L:这里需要提醒大家,相同的01组合输出对应的结果并非一定是唯一的,比如小写字母a对应的二进制表示就是01100001,而十进制的97对应的也是01100001。

2025-04-06 10:23:03 676

原创 七座城堡⓵ OLTP(下)

老柯:“从索引原理上来说,就这么简单,当然了到了具体的数据库体系结构中,索引是以一种二叉树的形式存在,分为根茎叶三层节点,叶子节点存储的就是需要排序的列的值,这里就是尺寸。“原子性关注的是事务内部的操作,确保这些操作是不可分割的,而一致性关注的是事务对数据库状态的影响,确保数据库始终保持数据完整性。老柯:“是啊,假设您开始要找某特定尺寸的物品,首先您先去找这个尺寸卡片,由于卡片排序过了,您一下就定位到哪些卡片符合您要的物品都尺寸,同时卡片上有货物的位置信息,于是轻而易举的找到您要的物品了。

2025-04-05 15:40:31 988

原创 七座城堡⓵ OLTP(上)

老柯:“您真是善于类比,确实是如此,比如数据按姓名的规律进行有序存储,这样当查询我老柯时,柯的拼音是K开头,如果你搜到拼音是L开头的,就知道接下来永远不会再搜到K开头的数据了,于是停止搜索,从而避免全表找个遍。老柯:“货物存储要有序,可进货操作不一定有序,如此一来货仓里为了确保有序,就需要不停的调整货物位置,这不仅影响效率还容易对货物造成损坏,数据库也是如此。在宇宙深处有一个神奇的数据库星球,叫快乐星球,星球上有一个充满活力的王国,国王姓王自称老王,大家也都这么称呼他这个,这个王国就叫快乐王国。

2025-04-05 15:31:22 853

原创 小朋友都能懂的人工智能⓵开篇大吉(下)

如果机器猜测一张图片是猫,我们告诉它正确或错误,机器就会根据反馈调整自己的理解,不断尝试,每一次都在进步,慢慢就开始真正的了解猫了。比如,我们教机器识别猫,会给它看很多猫的图片,每张图片都告诉它这是猫。A爸:L老师,我有一个疑问,神经网络到底是如何提取出猫的这些特征的,一张图片在计算机的眼里,不就是一堆010101的数字吗?C:妈妈,这不是很简单嘛,你们告诉我猫长什么样后,我就会认识猫啊,我想机器也是一样的。L:如果一只猫的耳朵掉了,或者尾巴断了,你还能分辨出这是一只猫吧。B:好玩,和我们好像啊。

2025-04-05 06:53:40 229

原创 小朋友都能懂的人工智能⓵开篇大吉(中)

L:不完全对,人工智能(Artificial Intelligence),简称AI,指的是让计算机做一些需要人类智能才能完成的事情,比如认字、识图、写作、对话、下棋等。L:并非同一个东西。而机器学习是自己去发现规律,灵活全面,能适合复杂场景,但是成本高,不适合简单场景。L:A爸说的都很有道理,如今机器学习这个分支发展迅猛,已经在多个领域实现了超越人类的水平,因此我们交流的人工智能技术也会聚焦在机器学习上。A爸:哦,这么说,机器学习是人工智能的分支啊,我还一直以为人工智能和机器学习是同一个东西的不同叫法。

2025-04-05 06:52:29 272

原创 小朋友都能懂的人工智能⓵开篇大吉(上)

L:是的,机器学习中的神经网络算法模型,就是模仿人脑的工作方式。仅“请创作一幅融合科技元素的春节庆祝画作”这短短十七字指令,人工智能便开启了推理的过程,提炼出了2024、龙、灯笼来展示新春元素,提炼出电路板来展示科技元素,拿捏的这般恰到好处,厉害不?如果机器猜测一张图片是猫,我们告诉它正确或错误,机器就会根据反馈调整自己的理解,不断尝试,每一次都在进步,慢慢就开始真正的了解猫了。A爸:L老师,我有一个疑问,神经网络到底是如何提取出猫的这些特征的,一张图片在计算机的眼里,不就是一堆010101的数字吗?

2025-04-05 06:51:10 402

原创 数据库二十年目睹之怪现状——隐蔽的套壳 ⑧开源改内核,原创最难得

相比之下,最为彻底的是一开始就选择原创之路的数据库厂商,他们选择了最艰辛的路,坚持做难而正确的事,不以眼前利益为目标,以情怀、信念为支撑,在不被人理解中、在嘲笑声中、在压力下奋力拼搏,负重前行。L:国家已经注意到这个问题,倡导不要只聚焦于业务繁荣,而是要注重发展新质生产力,宣扬科学家精神,不追求短期效果,将目光放长远。这种思想具体落到数据库层面,就是鼓励原创数据库,消除知识产权法律风险、杜绝后门风险,提升技术,为企业和国家兜底。否则在人家设定的技术框架中,不仅技术上的革新会受限,安全保障上也可能面临挑战。

2025-04-04 09:31:53 365

原创 数据库二十年目睹之怪现状——隐蔽的套壳⑥知识产权愁,厂商绑架苦

和不掌握内核能力的套壳厂商合作还有被绑架风险,因为此类厂商为适应业务可能会展开一波非内核层面的魔改,但是无法标准化和通用化,有的还会让你绑定一些特定硬件,至此将数据库整成了一个四不像,等客户忍无可忍要将其替换时,发现几乎是不可能完成的任务,被坑惨了!L:此外,基于开源自研的数据库除了内核难把控外,还存在知识产权的法律风险,比如基于M记开源数据库的国产数据库,需要遵循很多严格的协议,比如需要开源回馈社区,可现实中许多基于M记开源数据库的厂商并未这么做,这就是把客户往火坑里推。L:这又是体现人性的一面。

2025-04-04 09:29:15 369

原创 数据库二十年目睹之怪现状——隐蔽的套壳 ⑦曲线救国日,技术倒退时

L:最近这十多年,咱们国家各行各业发展出现了欣欣向荣的景象,很多进步比如越来越便捷的衣食出行等,都是老百姓实实在在能感受到的,不过误打误撞,业务繁荣的背后却带来了技术的倒退。因为业务发展太快了,技术跟不上业务发展,而等技术的进步就会错失市场机会,因此我们除了没耐心来研究技术外,其他的一切手段都用上了,如能投入人力就尽量投入、能改造业务也就就尽量改造、能购买现成产品就购买、能抄开源就抄…总之就是要快,资本就是如此引导是市场的,就这样在急功近利中,我们一点点丧失了核心竞争力,包括数据库。

2025-04-04 06:07:16 369

原创 数据库二十年目睹之怪现状——隐蔽的套壳⑤舶来数据库,核心难掌控

M:L兄说的是,某家基于P记的数据库厂商大干数百天,将P记内核升级到新版本后,性能和稳定性都大幅提升,在PK中击败了未升级内核的同类厂商。L:数据库的内核是别人的,你只做数据库的周边及业务改造,要是人家在内核里嵌入别有用心的后门代码,或击毁数据库,或盗取数据,后果不堪设想!W:我觉得,基于开源改造的数据库厂商上手容易深入难,走的是一条先甜后苦的路,而原创的数据库厂商上手困难深入易,走的是一条先苦后甜的路。L:是的,目前主流的开源数据库无论是P记还是M记,代码主要贡献者都鲜有中国人,这意味着什么?

2025-04-04 06:04:29 478

原创 数据库二十年目睹之怪现状——隐蔽的套壳④设计有苦衷,断臂求生中

O记是能在数据库完成的事就尽量在数据库完成,而自研数据库是能不在数据库内完成的事就尽量不在数据库完成,这种差异导致替换投入数百人年的惊人工作量;L:数据库好坏的评估有功能、安全、稳定、 性能、易用、生态、成本、服务等诸多方面。L:是的,有此铺垫,接下来聊聊企业自研数据库的生存四部曲。L:是的,接着是对SQL的限制,让SQL是通过界面操作自动生成,同时设有SQL审核,如此壳大幅规避低效SQL进数据库的风险。看这样四部曲下来,安全、稳定、性能看似有保障了,但是易用性差到极致,成本高到吓人,功能转嫁的干干净净…

2025-04-04 06:03:50 427

原创 数据库二十年目睹之怪现状——隐蔽的套壳⓷企业自研库,套壳暗相助

话说数据库的客户当中,不乏大型央企和行业巨头,他们内部无论是O记替换还是新项目的数据库需求都很大,是各数据库厂商眼中的大金主。套壳者不管是用什么忽悠手段,一旦数据库上线,客户就休想将其轻易撤换或者回退,因为变动的代价实在太大了。至于卖数据库就更难了,毕竟从满足内部需求出发的数据库,通用性的优先级并不高。L:此类企业自研数据库大多都是实现了一个调度分配的统一接口,将P记或者M记的开源数据库管理起来协同工作,以提供更好的性能和更高的并发,甚至可以说这只是一个数据库调度管理工具,而非数据库产品。

2025-04-03 22:22:55 356

原创 数据库二十年目睹之怪现状——隐蔽的套壳②功能有短板,缝合来救场

L:数据库本质就是对数据的存、查、改,不过为了更好的存、查、改就会延伸非常多的功能。此时正经厂商就是脚踏实地的去实现这些功能,而无良厂商就把目标放在寻找现成的东西拼凑在一起,来满足客户需求,这种套壳方式会让数据库的兼容性、可维护性都堪忧,带来极大风险。某厂商的数据库产品功能有缺失,于是厂商想了这样一个办法,去寻找能实现对应特定功能的免费开源插件、工具,再通过数据库的接口改造,将其缝合在一起来解决问题。W:L兄,不管是直接的还是隐蔽的套壳方式,最终都要在生产系统真刀真枪的干,套壳者不担心吗,不会出大问题吗?

2025-04-03 08:13:54 354

原创 数据库二十年目睹之怪现状——隐蔽的套壳①利诱聚小人,狸猫换太子

W:L兄,上次聊完后,我就对选型测评留了个心眼,果然发现有厂商在写入性能测评中做了关日志、删索引等操作。于是毫不犹豫地将他们拉进黑名单...

2025-04-03 08:12:48 372

原创 SQL优化思想--时间都去哪儿了⑤减少锁相关等待时间(开老人通道)

SQL运行中的相关等待事件远不止上述四个,限于篇幅,就不一一展开了。如果让大家觉得意犹未尽,敬请谅解。以下是对执行时间的一个脑图总结。值得一提的是,在某一个SQL中,等待时长和工作时长往往是多段的。如T_等待=T_cpu等待+T_硬解析+T_日志切换+T_锁等待…同理,T_工作也是如此,往往是多个子工作时间的集合。通过减少等待时长,我们已经显著提升了SQL的执行效率。然而,在等待时长已经得到充分优化的情况下,如何进一步降低工作时间,也就是加快交易本身的速度呢?敬请期待。全文完公众号:收获不止数据库。

2025-04-02 15:03:29 285

原创 SQL优化思想--时间都去哪儿了④减少日志切换等待时间(多鱼装一袋)

L:再举一个和洗衣液不同的例子,你买了5只相同品种的鱼,分别包装称重(重量不同,价位不一样),收银员就不得不进行5次结算,有没有提高效率的办法呢?通过将COMMIT操作移出循环内,让该SQL从提交多次变成了只提交1次,减少了不必要的日志切换等待,让SQL执行得更快。这类似数据库中减少日志切换等待时长的思路,在XXX平台的C模块中,部分SQL就是这么优化提速的,请看示例。M:如果这5只鱼放在一起称重,那就从5袋变成1袋,收银员就会从结算5次缩减为只结算1次了。

2025-04-02 14:59:20 184

原创 SQL优化思想--时间都去哪儿了③ 减少硬解析等待时间(单件再相乘)

L:排队是需要等待,其实在收银台结算交易时也存在等待时长。你购买的多个货物不可能同时结算,要一件一件来,这间隙时间便是等待时间。比如你买了5袋相同的洗衣液(品牌批次价格均一致),如果收银员够聪明的话,他会怎么做?这与数据库中减少硬解析等待时长的思路类似。在XXX平台的B模块中,部分SQL就是这么优化提速的,请看示例。通过使用绑定变量,SQL可以复用执行计划,减少硬解析次数,从而降低等待时长,提高查询效率。W:他结算时不需要刷5遍条形码,而是只刷1次,然后数量乘以5即可。原始查询(导致硬解析)。

2025-04-02 14:54:33 118

原创 SQL优化思想--时间都去哪儿了⓶减少CPU持有等待时间(增加收银台)

有点类似数据库中的减少CPU持有等待时长的思路,在ZZZ平台的A模块中,部分SQL就是这么优化提速的,具体示例如下。在高并发情况下,CPU持有等待时间显著增加。解决方案可以是增加CPU个数,或者采用分布式数据库架构来分担压力。L:倘若我们期望让买单的时间加快,却发现收银柜台的队伍排得很长,顾客们等得非常焦虑,该如何是好?通过将查询分布到多个分片,能够有效减少单个CPU的负担,从而降低持有等待时长,提高整体查询效率。W:可以考虑增加收银台的数量,假如收银台由1个变成10个,排队等候买单的时间自然就减少了。

2025-04-02 14:42:43 158

原创 SQL优化思想--时间都去哪儿了⓵时间=等待时间+工作时间

L:你在超市买单时,通常会在收银台排队,这就类似于SQL的等待时长。SQL优化思想已经讨论了两集,不论是“不优化是最好的优化”,还是“变慢是更好的选择”,都在强调做事要有批判性思维,三思而后行。围绕“时间”这个主题,结合超市购物的生活场景,让我们步入正文,共同探寻在XXX平台优化案例中,SQL的时间都去哪儿了。L:我与他们一起分析SQL执行慢时,时间都花在哪些环节,然后有的放矢地进行优化,最终成功解决问题。M:我购物时,收银台的结算倒是很快,时间主要耗在排队上,也就是等待时间太长了。

2025-04-02 14:38:36 342

原创 技术之外,理解人性——与全国大学生数据库决赛选手的轻松对话⓹问题5: 数据库方向的就业前景如何?

我:数智化时代,数据量呈指数级增长,作为存储数据的核心,数据库的需求持续增加。不过数据库方向还真能满足这些条件,相关岗位大致分为三类,分别是数据库厂商的研发、产品设计、售前支持、售后服务、销售、市场推广、培训等岗位;我:有很多,如数据分析、数据治理、数据安全、数据建模、数据架构等,每个方向都有着广阔的就业机会(参考链接 从DBA到DBA² 及 未来就业走势)。选手E:听说数据库还是“卡脖子”的技术,如果能从事内核研发,我觉得很自豪,很有使命感,我更愿意去打造 “超级智能房子”。选手E:哇,这么高!

2025-04-01 06:52:15 898

原创 技术之外,理解人性——与全国大学生数据库决赛选手的轻松对话⓸问题4: Oracle论文不突出,为何一枝独秀?

选手D:老师,SQLServer的论文数远超Oracle,为何还是Oracle称王称霸?Oracle 的成功,看似是一种“谜”,但背后却有着清晰的商业逻辑。首先是生态建设。Oracle 通过“自上而下”的策略,与头部企业建立深厚合作,打造了完善的生态系统,包括认证体系、工具链和培训课程,为企业提供全面支持,同时还培养了大批忠实技术粉丝。接着是路径依赖。Oracle 高昂的价格、复杂的功能、繁琐的操作让企业在使用中投入了大量精力去适应它,以确保能用好。一旦上了 Oracle 的“船”,转型成本便极高,这种路径

2025-04-01 06:49:59 276

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除