IF CLUB 北京线下大会 部分主题记录 (包含 韩锋老师 梁敬彬老师 主题)

开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共2800人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 +9)(1 2 3 4 5 6 7群均已爆满,开8群260+ 9群)

上周六,4月12日,北京IFCLUB 线下大会,那天的大风真真是极好的,吹的北京都没人了,地铁上没人,路上没人,这叫一个干净。

可是这有意思的是,会场还是有很多人都来了,冒着被12级大风吹上天的风险。我在此次大会上,讲了一下,通过经济学原理指导云DBA的价值利益最大化的问题。

让我没想到的是,讲完韩锋,韩老师立马就上来针对我说的问题,发表了看法和新的idea。姜还是老的辣,几句话就把我含糊过去的地方给指出来了,刀刀要命。

另外演讲议题中另一个重点,AI和DBA的关系,梁敬彬梁老师,用诙谐幽默的配图,把AI的原理知识用最简单和通俗的语言讲明白,并且将AI和DBA之间的关系也梳理了一遍。

这里我偷偷的用了点先进的技术手段,把韩峰韩老师和梁敬彬梁老师的整体PPT都给用AI的手段迅速在会场上就处理了。

这里我把二位老师的东西用文字总结的方式来展现一下(顺便说一句 韩锋韩老师的演讲能力,那是相当的厉害,和机关炮一样PPT根本连看都不看,问题 1 2 3 4 5 知识的声音就砸过来了,没点内力的,马上就蒙,梁敬彬梁老师是用柔的力量,韧性极足,知识源源不断的从他的话语中强力输出。)  (如果整理的文字有问题,还请二位老师指教)

1  韩锋老师: (数 据 库 信 创 替 换 流 程)数据库进驻金融企业的整体流程

1 启动与规划:

银行首先要启动数据库切换或信创的相关事宜,这可能源于战略需求或技术更新的考虑。

需要进行详细的规划,包括明确为什么要进行切换、目标是什么、以及初步的实施策略。

2 制定计划的规划:

在具体操作之前,要有一个先决的概念,即如何做这个事情。这涉及到考虑数据中心化等更宏观的战略。

3 成立专门的组织机构:

由于数据库切换涉及到大量的资源投入和多个部门的协同,银行通常会成立专门的团队或虚拟组织来负责此事。这个机构需要能够进行规划、协调各个环节的工作。

4 业务梳理与调研:

在选择新的数据库之前,银行会对现有的业务系统进行充分的了解。 这包括:识别哪些业务系统需要进行数据库切换。了解每个业务系统的用户、业务标签、技术架构、以及与现有数据库的依赖关系。确认是否有相关的业务开发商以及他们是否还在提供服务。 详细梳理数据库的现状,包括使用了哪些特性和能力。

这个阶段至关重要,因为忽略任何细节都可能导致严重的兼容性问题,甚至导致 POC 失败。资料中提到了一个鲜活的教训,即在上线前一个月才发现新数据库缺少某个业务系统依赖的 C 语言接口,导致项目停滞。银行可能会要求相关部门填写详细的表格,以进行全面的评估。

5 方案选型与学习:

基于业务梳理的结果,银行会开始进行数据库方案的选型。这是一个非常谨慎和痛苦的过程,因为数据库的替换影响重大。

6 大型银行可能会采取非常严格的测试流程来评估不同的数据库产品:

邀请多家数据库厂商参与测试,甚至包括国内 TOP30 的数据库。提供给每个厂商一定的时间(例如两个星期)进行测试。 使用标准化的测试文档, 该文档通常包含四个主要部分:功能测试、性能测试、高可用测试、业务测试。文档可能非常详细,包含数百页。

要求厂商在规定的时间内完成所有测试用例,并进行截图和签字确认。允许多家厂商同时进行测试,可能会进行多轮的测试。通过这种全面的测试,银行可以直观地了解不同数据库在实际场景下的表现,包括其功能是否满足需求、性能如何、高可用性是否达标、以及是否能支持现有的业务。

测试结果会被详细记录和打分,用于最终的决策。资料中提到,通过测试发现国产数据库虽然百花齐放,但也参差不齐,存在各种兼容性和稳定性问题。

7 制定详细的计划方案与资源投入:

在确定了初步的数据库选择后,银行会基于测试结果和业务需求,制定更加详细的切换计划方案,并评估所需的资源投入。这可能涉及到复杂的公式和模型来预测工作量和时间。计划会包括不同复杂程度的系统如何进行改造,以及详细的资源需求(例如人力和时间)。这个阶段可能会通过实际项目的迭代来不断优化计划的准确性。

8  POC 后的实施与切换:在完成充分的评估和规划:

在POC后银行才会进入真正的实施和切换阶段,这可能包括开发适配性的代码、进行数据迁移、以及进行最后的业务切换。为了降低切换风险,银行可能会采用“并轨”的策略,即新旧数据库并行运行一段时间,并逐步将业务流量切换到新的数据库上。这通常需要开发专门的并轨系统和复杂的切换逻辑。

反正我是见识了韩老师的厉害,谁要在这样的领导下干活,那他稍微给你漏点什么就够受用的。

个人总结:银行进行数据库信创切换的 POC 阶段是一个非常细致、多维度、且通常需要大量资源投入的过程。其核心目标是通过严格的测试和评估,充分了解候选数据库产品的能力和潜在风险,为最终的决策和大规模切换奠定坚实的基础。尤其是在早期阶段,对现有业务系统的深入理解和对候选数据库的全面测试是至关重要的环节。

梁敬彬 梁老师

主题
主题

从底层逻辑来看,大模型与数据库的结合是 为了弥补大模型自身的局限性,并利用数据库的优势来实现更强大、更实用的 AI 应用。大模型自身的底层逻辑是基于概率和模式识别。它们通过对海量文本、代码等数据进行训练,学习词语之间的关联和出现的概率,从而在接收到输入时,预测并生成下一个最有可能出现的词语序列。这种机制使其能够进行自然语言理解、生成、翻译等任务。

然而,这种底层逻辑也带来了以下局限性,需要与数据库结合来解决

无状态性: 大模型本身通常是 无状态的。这意味着它们在一次交互结束后,不会记住之前的对话内容或用户的特定信息。为了实现有状态的应用,例如记住用户偏好、聊天历史的智能 NPC 或心理咨询 AI,就需要数据库来存储和维护这些用户的状态信息。

知识的时效性和覆盖范围有限: 大模型学习的知识来源于其训练数据,这部分数据通常是过去的数据。对于最新的信息或模型训练时未包含的特定知识,大模型是无法直接获取和利用的。数据库作为外部知识库,可以存储各种结构化和非结构化数据(如实时新闻、公司财报、行业知识等),为大模型提供实时的、广泛的知识来源。

缺乏推理能力和实体间的连接感知: 纯粹的向量数据库虽然可以进行语义检索,但无法感知到实体之间的连接和关系,进行复杂的推理。例如,在旅游场景中,仅通过向量数据库可能无法理解“年糕”(宠物名)和“我”之间的“伴随”关系。图数据库 (Graph Database) 可以存储实体及其关系,与大模型结合(例如 Graph RAG)可以提升查询的复杂能力,减少幻觉,并实现更深层次的推理。

工具使用和多 Agent 协作的需求: AI Agent 需要能够使用外部工具来完成复杂任务,例如查询数据库获取信息。此外,多个 AI Agent 之间可能需要协作,共享数据和信息。这都依赖于数据库来存储工具信息、Agent 的状态以及共享的数据。

从底层逻辑上看,数据库在与大模型结合时扮演着以下关键角色:

记忆 (Memory): 数据库用于存储大模型的短期记忆 (如 Redis)、长期结构化信息 (如关系型数据库)、语义相关信息 (如向量数据库) 和聊天记录 (可能使用关系型或文档型数据库),使得大模型能够记住用户的历史交互和状态。

外部知识库 (External Knowledge Base): 数据库作为存储结构化和非结构化数据的知识库,通过检索增强生成 (RAG) 等技术,为大模型提供回答复杂问题所需的外部信息。

状态管理 (State Management): 对于有状态的 AI 应用,数据库负责记录和维护用户的状态信息、任务进度等,使得应用能够理解上下文并进行持续的交互。

数据共享与一致性 (Data Sharing and Consistency): 在多 Agent 协作的场景下,数据库需要能够存储和共享不同 Agent 之间需要的数据,并努力保证数据的一致性。 因此,从底层逻辑来看,大模型提供了强大的语言理解、生成和初步的推理能力,而数据库则提供了持久化存储、知识管理、状态维护和数据共享的能力。两者结合,才能构建出更智能、更贴近实际应用需求的 AI 系统。这种结合是 AI 从简单的问答系统向能够自主规划和完成复杂任务的 AI Agent 演进的关键。

最后梁老师总结了 AI时代与DBA发展的关系,声音很柔和,但话里都是根根钢针。

1 DBA 的价值将更加重要:在 AI 时代,数据的价值对于企业主而言变得越来越大,因此,作为数据管理的关键角色,DBA 的重要性也随之提升. 这意味着 DBA 需要不断提升自己的能力,以适应新的需求。

2  DBA 需要适应与 AI Agent 协同工作 的未来:设想一个场景,研发的 AI agent 可以直接告知 DBA 的 AI agent 活动即将开始,而 DBA 的 AI agent 可以自动进行数据库的扩容。这暗示着未来的 DBA 需要具备与 AI agent 协作的能力,理解 AI agent 的工作方式和需求,并能够管理和维护由 AI agent 驱动的数据库操作。

3 DBA 可能需要关注 AI 原生的数据库系统:传统数据库在 AI 时代面临一些无法解决的问题,例如实时性、上下文理解和语义感知。这预示着未来可能会出现更多 AI 原生的数据库系统,DBA 需要学习和掌握这些新型数据库的原理和使用方法。

4 DBA 需要关注多模态数据库:AI 应用通常涉及多种数据模态(如语音、文本、图像等)。未来的 DBA 需要学习如何管理和维护能够处理多模态数据的数据库系统。

个人总结:未来的 AI 时代对 DBA 提出了更高的要求,不仅需要他们继续精通传统的数据库管理知识,更需要他们具备持续学习新技术的能力,特别是与 AI 相关的技术,以及与 AI agent 协同工作的能力,并关注 AI 原生的和多模态数据库的发展趋势。

当天,梁老师还问我,说你的那个话题还挺有意思,“是不是需求和满足需求的关系”。高人看问题都看本质,这句话是没错的。

更多当天有意思的话题可以从IF Club官网获得

刘华阳老师的 《经济学原理指导云Cloud DBA价值利益最大化》 https://ifclub.com.cn/details/1911720931214172161?t=1744766318716 

张桓老师的《Agentic AI时代 数据库的需求与机遇》 https://ifclub.com.cn/details/1911725050184278017?t=1744626418435

 徐小强老师的《传统DBA该如何学习国产数据库》 https://ifclub.com.cn/details/1911726303974989825?t=1744626418434 

彭冲老师的《从发布注记和帮助链接学PG新特性》 https://ifclub.com.cn/details/1911727795058450434?t=1744626418434

IF CLUB网站
IF CLUB网站

置顶

DBA 有心眼,难搞的SQL实际案例分析--都是别人的错

MongoDB “升级项目”  大型连续剧(1)-- 可“生”可不升

美国知名大学开授China数据库理论,你没看错!

DBA 会架构,实际案例分析--“IT流氓”得下跪

数据库的 4月1日 愚人节,我没有被愚弄 !

搞 PostgreSQL多才多艺的人--赵渝强 《PG数据库实战派》

追逐太阳的男人--林春 《金融数据库转型实战》

数据库的 4月1日 愚人节,我没有被愚弄 !

数据库界的“申公豹”,带云DBA走出--救生筏困境!

阿里云DTS 产品,你真让我出离愤怒,3年了病还没治好???

让数据先“活”起来,如何实现数据在企业中的最大价值

专访唐建法-从MongoDB中国第一人到TapData掌门人的故事

ETL 行业也够卷,云化ETL,ETL 软件不过了

天上的“PostgreSQL”  说 地上的 PostgreSQL 都是“小垃圾”

宇宙的“PostgreSQL” 说 “地球上的PG” 都是“小垃圾”

云数据库核爆在内部,上云下云话题都是皮外伤!--2025云数据库专栏(二)

云原生 DB 技术将取代K8S为基础云数据库服务-- 2025年云数据库专栏(一)

临时工:数据库人生路,如何救赎自己  -- 答某个迷茫DBA的职业咨询

PostgreSQL 相关文章

PostgreSQL的"犄角旮旯"的参数捋一捋

PostgreSQL逻辑复制槽功能

PostgreSQL 扫盲贴 常用的监控分析脚本

“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!

PostgreSQL  添加索引导致崩溃,参数调整需谨慎--文档未必完全覆盖场景

PostgreSQL 的搅局者问世了,杀过来了!

PostgreSQL SQL优化用兵法,优化后提高 140倍速度

PostgreSQL 运维的难与“难”  --上海PG大会主题记录

PostgreSQL 什么都能存,什么都能塞 --- 你能成熟一点吗?

PostgreSQL 迁移用户很简单 ---  我看你的好戏

PostgreSQL 用户胡作非为只能受着 --- 警告他

全世界都在“搞” PostgreSQL ,从Oracle 得到一个“馊主意”开始
PostgreSQL 加索引系统OOM 怨我了--- 不怨你怨谁

PostgreSQL “我怎么就连个数据库都不会建?” --- 你还真不会!

病毒攻击PostgreSQL暴力破解系统,防范加固系统方案(内附分析日志脚本)

PostgreSQL 远程管理越来越简单,6个自动化脚本开胃菜

PostgreSQL 稳定性平台 PG中文社区大会--杭州来去匆匆

PostgreSQL 如何通过工具来分析PG 内存泄露

PostgreSQL  分组查询可以不进行全表扫描吗?速度提高上千倍?

POSTGRESQL --Austindatabaes 历年文章整理

PostgreSQL  查询语句开发写不好是必然,不是PG的锅

PostgreSQL  字符集乌龙导致数据查询排序的问题,与 MySQL 稳定 "PG不稳定"

PostgreSQL  Patroni 3.0 新功能规划 2023年 纽约PG 大会 (音译)

PostgreSQL   玩PG我们是认真的,vacuum 稳定性平台我们有了

PostgreSQL DBA硬扛 垃圾 “开发”,“架构师”,滥用PG 你们滚出 !(附送定期清理连接脚本)

DBA 失职导致 PostgreSQL 日志疯涨

OceanBase 相关文章

OceanBase 6大学习法--OBCA视频学习总结第六章

OceanBase 6大学习法--OBCA视频学习总结第五章--索引与表设计

OceanBase 6大学习法--OBCA视频学习总结第五章--开发与库表设计

OceanBase 6大学习法--OBCA视频学习总结第四章 --数据库安装

OceanBase 6大学习法--OBCA视频学习总结第三章--数据库引擎

OceanBase 架构学习--OB上手视频学习总结第二章 (OBCA)

OceanBase 6大学习法--OB上手视频学习总结第一章

没有谁是垮掉的一代--记 第四届 OceanBase 数据库大赛

OceanBase  送祝福活动,礼物和幸运带给您

跟我学OceanBase4.0 --阅读白皮书 (OB分布式优化哪里了提高了速度)

跟我学OceanBase4.0 --阅读白皮书 (4.0优化的核心点是什么)

跟我学OceanBase4.0 --阅读白皮书 (0.5-4.0的架构与之前架构特点)

跟我学OceanBase4.0 --阅读白皮书 (旧的概念害死人呀,更新知识和理念)

聚焦SaaS类企业数据库选型(技术、成本、合规、地缘政治)

OceanBase 学习记录-- 建立MySQL租户,像用MySQL一样使用OB

PolarDB 相关文章

        PolarDB MySQL 加索引卡主的整体解决方案

“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!

PostgreSQL 的搅局者问世了,杀过来了!

在被厂商围剿的DBA 求生之路 --我是老油条

POLARDB  添加字段 “卡” 住---这锅Polar不背

PolarDB 版本差异分析--外人不知道的秘密(谁是绵羊,谁是怪兽)

在被厂商围剿的DBA 求生之路 --我是老油条

PolarDB 答题拿-- 飞刀总的书、同款卫衣、T恤,来自杭州的Package(活动结束了)

PolarDB for MySQL 三大核心之一POLARFS 今天扒开它--- 嘛是火

MySQL相关文章

MySQL SQL优化快速定位案例 与 优化思维导图

"DBA 是个der" 吵出MySQL主键问题多种解决方案

MySQL 怎么让自己更高级---从内存表说到了开发方式

MySQL timeout 参数可以让事务不完全回滚

MySQL 让你还用5.7 出事了吧,用着用着5.7崩了

MySQL 的SQL引擎很差吗?由一个同学提出问题引出的实验

用MySql不是MySQL, 不用MySQL都是MySQL 横批 哼哼哈哈啊啊

MYSQL  --Austindatabases 历年文章合集

MongoDB 相关文章

MongoDB “升级项目”  大型连续剧(1)-- 可“生”可不升

MongoDB  大俗大雅,上来问分片真三俗 -- 4 分什么分

MongoDB 大俗大雅,高端知识讲“庸俗” --3 奇葩数据更新方法

MongoDB 学习建模与设计思路--统计数据更新案例

MongoDB  大俗大雅,高端的知识讲“通俗” -- 2 嵌套和引用

MongoDB  大俗大雅,高端的知识讲“低俗” -- 1 什么叫多模

MongoDB 合作考试报销活动 贴附属,MongoDB基础知识速通

MongoDB 年底活动,免费考试名额 7个公众号获得

MongoDB 使用网上妙招,直接DOWN机---清理表碎片导致的灾祸 (送书活动结束)

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- MongoDB 数据模式与建模

MongoDB  双机热备那篇文章是  “毒”

MongoDB   会丢数据吗?在次补刀MongoDB  双机热备

MONGODB  ---- Austindatabases  历年文章合集

临时工访谈系列

没有谁是垮掉的一代--记 第四届 OceanBase 数据库大赛

ETL 行业也够卷,云化ETL,ETL 软件不过了

SQL SERVER 系列

SQL SERVER维保AI化,从一段小故事开始

SQL SERVER 如何实现UNDO REDO 和PostgreSQL 有近亲关系吗

SQL SERVER 危险中,标题不让发,进入看详情(译)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值