每天读点书学堂-优快云博客

原创狂飙 50 倍丨TiDB DDL 框架优化深度解析

前面我们介绍了 TiDB DDL 任务的整体执行流程。接下来，让我们聚焦到在线 Schema 变更的细节上。执行单步变更：Job Worker 会根据任务定义，执行一次在线 Schema 的变更。每一次变更都代表着 Schema 向目标状态迈进了一步，即进入下一个状态，可能的状态包括 write-only 和 delete-only 等。状态更新：完成单步变更后，Job Worker 会将当前的 Schema 状态更新到元数据中。

2025-04-03 18:15:21 582

原创 TiDB 资源隔离最佳实践

通过本文的学习，相信大家对 TiDB 的资源隔离能力有了更全面的理解；大家可以根据不同的场景需求，选择合适的资源隔离方案。

2025-04-03 18:14:39 707

原创数禾科技：资源成本降低 50%！用 TiDB 实现技术栈简化的实践和收益

在选择分布式数据库的过程中，除了产品力本身，社区活跃度是一个至关重要的考量因素。数禾科技在打磨自身产品后，具备了获客和风控等多方面的技术优势，我们也希望通过技术输出，让下游客户也能掌握这些能力。因此，我们希望客户对所使用的数据库有一定了解，在遇到问题时能够自主排查和解决。TiDB 社区的活跃氛围为我们提供了这样的支持，丰富的技术交流和分享，使得客户能够更好地理解和使用 TiDB，增强了我们选择它的信心。与此同时，分布式数据库作为一种先进且复杂的技术，难免会存在一些问题。

2025-04-03 18:13:14 333

原创 TiDB 的高可用实践：一文了解代理组件 TiProxy 的原理与应用

TiDB 是一款典型的分布式存算分离架构的数据库，其中计算层由多个无状态的 TiDB Server 组成，这些 TiDB Server 同时对外承担连接请求。为了可以将连接分发到多个 TiDB Server 节点上，一般需要借助外部负载均衡组件如硬件负载均衡 F5、软件负载均衡 HAProxy 等。为了实现全链路的高可用架构，我们经常也需要考虑负载均衡组件本身的高可用性，比如通过 KeepAlived 来保证 HAProxy 的高可用。

2025-04-03 18:12:36 358

原创华安基金 HTAP 数据库的选型历程与 TiDB 使用体验

明确需求：首先评估业务对 TP（事务处理）和 AP（分析处理）的需求比重，确定数据量、查询速度和响应时间，确保数据库能满足业务对实时性的要求。技术特性评估：考虑数据库的实时分析能力、可扩展性、高性能、安全性和灵活性，以支持业务人员实施的场景需求，特别是后台营销人员对数据实时性的需求。集成与兼容性：评估数据库与现有数据库、应用程序和其他关键系统的集成能力，确保数据同步策略的无缝实施。安全性与可靠性：重视数据库的安全性措施、容灾备份机制、数据恢复能力和错误处理机制，保障业务连续性和数据安全。

2025-04-03 18:11:47 616

原创 TiDB 分布式数据库多业务资源隔离应用实践

这家企业计划已经在去年 7 月底将原有的 TiDB v6.1.3 版本全面升级至 v7.1.5 版本，虽然升级过程出现一些小插曲，但是通过升级这件事看到了 TiDB 原厂的技术支撑的及时性和专业性，这是该企业从开源用户走向商业客户的价值所在。尽管在测试中发现，当时的 v6.1.3 版本（尚未具备 Resource Control 功能）版本在处理复杂的 SQL 查询和高并发的 OLTP 业务请求时存在相互干扰的问题，但这些问题并未掩盖 TiDB 在其他方面的优势。

2025-04-03 18:06:16 469

原创一行代码不用写，用 Autoflow + Gitee AI 搭建本地知识库问答机器人

本文详解 AutoFlow 从部署到配置的完整流程，包括数据库连接、模型设置、知识库创建及聊天引擎配置，实现了一行代码不用写的问答机器人快速搭建。模型相关信息配置完成后就可以进行知识库的配置了，选择左侧 Knowledge Bases ，填写知识库名称及描述，选择刚才创建的大语言模型和向量模型后即可创建知识库。⚠️ 需要注意的是，向量模型设置中新增了向量维度选项，这里需填写该模型支持的向量维度，如默认的 bge-large-zh-v1.5 模型向量维度为 1024。

2025-04-03 18:05:15 671

原创 53 倍性能提升！TiDB 全局索引如何优化分区表查询？

在 TiDB 中，全局索引是一种定义在分区表上的索引类型，它允许索引分区与表分区之间建立一对多的映射关系，即一个索引分区可以对应多个表分区。这与 TiDB 早期版本中的本地索引（Local Index）不同，本地索引的索引分区与表分区之间是一对一的映射关系，即一个分区对应一个局部的索引块。全局索引能覆盖整个表的数据，使得主键和唯一键在不包含分区键的情况下仍能保持全局唯一性。此外，全局索引可以在一次操作中访问多个分区的索引数据，而无需对每个分区的本地索引逐一查找，显著提升了针对非分区键的查询性能。

2025-04-03 18:04:08 632

原创 4.98 亿月活背后的国产数据库：咪咕视讯携手 TiDB 攻克内容分发核心系统挑战

咪咕大概是 2018 年左右正式开始对分布式数据库进行研究的，到现在为止我们看到和测试过太多的国内产品。但是在当时，敢用 LSM 树而不是 B+ 树做存储引擎，敢做分布式存算引擎分离的，能够行列副本共存、优化器路由分流做 MPP shuffle 的，市面上真的真的非常非常地不多见。比较多的是精致的分库分表外挂，或某些知名国外产品的模仿版。TiDB 的产品给我的印象是极具冲击性的，那么大胆、不随大流。验证和使用下来，效果也是切实的。

2025-04-03 18:02:57 583

原创 TiDB 观测性解读（一）丨索引观测：快速识别无用索引与低效索引

通过识别并优化未使用或低效的索引，可以减少资源浪费，并提高系统的响应速度和稳定性。在 TiDB 中，TIDB_INDEX_USAGE 系统表提供了相对丰富的索引使用统计数据，帮助 DBA 快速发现低效索引，并通过优化或删除它们来提升数据库效率。尽管删除索引的操作相对简单，但在实施时仍需注意潜在的限制和风险，尤其是在大数据量和高并发环境下。定期检查索引使用情况，尤其是对于大规模数据库。确保用于决策的统计数据涵盖足够长的业务周期，避免误判。

2025-04-03 18:00:03 87

原创现代应用架构发展趋势与数据库选型建议丨TiDB vs MySQL 专题（一）

随着业务系统数据量的增长，早起只能无奈采取分库分表方案以及架构，这不单为运维带来了极高的复杂度，同时对业务开发也带来的极大的入侵，SQL 只能限定按照 shard key 维度进行编写，无法任意维度的进行 SQL 查询，开发不得不牺牲业务需求，业务的发展也不得不受限，同时又需投入大量的高精尖人才进行开发维护。这对数据库的承载能力提出了极高的挑战，不但需要承载大数据量，又需要保障业务读写性能的稳定性，而在数据的承载能力上，MySQL 的极限，是 TiDB 的起点。一行命令完成扩展，无需任何的人工干预。

2025-04-03 17:59:05 437

原创 trace point工具之Lttng介绍

LTTng 是 Linux 平台开源跟踪工具，可允许跟踪 Linux 内核、应用程序以及库的系统软件包，并控制跟踪会话（开始/停止跟踪、启动/停止事件等）。主要是对函数耗时进行定性的统计，对于后期性能优化有重要作用，这些组件被绑定如下三个包：LTTng-tools，用来控制追踪的软件包，主要包含组件：Session守护进程；Consumer守护进程；Relay守护进程；liblttng-ctl：追踪控制库；lttng (CLI)：命令行工具；

2025-04-03 17:57:46 690

原创 TiDB × AI ：DeepSeek 时代你需要什么样的数据基座

AutoFlow 是一套 GraphRAG 框架，不仅提供了类似于 LlamaIndex 的能力，而且还内置语义化的知识图谱构建和召回，以及我们在 AutoFlow 上实践得出的一系列行之有效的领先的 RAG 能力（这些接下来会介绍）。不过需要强调的是，Dify 是一个开箱即用的非常易用的界面，而 AutoFlow 虽然功能更强却则具有比较高的使用门槛，所以这两个选择其实面向了不同的群体，用户需要依据自己的实际需求进行选择。它并非传统的基于规则的优化工具，而是利用大模型的知识来优化不同类型的数据库。

2025-04-03 17:48:25 723

原创 k8s命名空间

为此，Kubernetes 提供了内置的 DNS 服务，允许服务通过 <service-name>.<namespace-name>.svc.cluster.local 这样的格式互相访问，其中 <service-name> 是目标服务的名字，而 <namespace-name> 则是该服务所在的命名空间名字2。在同一个命名空间内，所有资源的名字必须是唯一的；组织工具：对于大型企业来说，命名空间是一种有效的组织工具，能够帮助划分开发、测试、生产等不同的环境，或是为不同的业务部门创建各自的命名空间10。

2025-02-20 11:00:49 275

原创 Markdown简介

Markdown 是一种轻量级的标记语言，设计用于简化纯文本的编写和格式化。它使用简单的标记符号和约定来表示文本的结构和样式。它提供了一种方便的方式来创建格式化的文本，同时保持了文本的可读性。Mermaid 是一种流程图和图表的绘制工具，它使用简洁的文本语法来描述图形结构，并将其转换为可视化的图形表示。Mermaid 支持多种图表类型，包括流程图、序列图、类图、状态图、甘特图等，可以方便地在文档中插入图形内容。本身支持mermaid，TOC没找到合适的方案(之前有对应的插件，没有人维护，新版本不兼容了)

2025-02-20 10:39:12 1139

原创 systemtap 磁盘故障模拟

先执行ps -ef | grep write 得出PID号。# 模拟“Read-only file system”异常。运行测试SystemTap。先安装systemtap。

2025-02-14 18:41:07 435

原创 FTP客户端命令字详解

39.nmap[inpattern outpattern]：设置文件名映射机制，使得文件传输时，文件中的某些字符相互转换，如：nmap $1.$2.$3[$1，$2].[$2，$3]，则传输文件a1.a2.a3时，文件名变为a1，a2。20.get remote-file[local-file]：将远程主机的文件remote-file传至本地硬盘的local-file。[remote-dir][local-file]：显示远程目录remote-dir，并存入本地文件local-file。

2025-02-14 18:26:53 831

原创 FTP基本知识讲解

主动模式与被动模式其控制管理的连接是一样的，只是数据传输方式，或者说是传输命令，的发起者不一样。主动模式的PORT命令由客户端发起，被动模式的PASV命令由服务器发起。（PORT命令是服务器接到客户端开放的数据连接随机端口后，主动去建立数据连接的；PASV命令是服务器发起的数据连接的随机端口，客户端连接访问该服务端端口，服务器端口是被动连接的。总而言之，主动与被动针对服务器而言的）

2025-02-14 18:25:25 266

原创 k8s常见使用命令

不知道就直接输入kubectl exec -it mysql-788686777f-kn2rr -n rootabc-mw -- bash会有对应的提示。扩容：kubectl edit deployment deploymentname -n namespace 中replicate项为+1保存退出。缩容：kubectl edit deployment deploymentname -n namespace 中replicate项为减1保存退出。

2025-02-06 16:24:49 320

原创 Kubernetes 网络模型

对于集群外部的客户端来说，由于无法直接访问 Pod IP 或 Service 的 Cluster IP，因此 Kubernetes 提供了 NodePort 和 LoadBalancer 两种方式，用于将集群内部的服务暴露给外部。当你创建一个 NodePort 类型的 Service 时，Kubernetes 会在每个节点上打开一个指定的端口，并将所有到这个端口的请求转发到对应的 Service。对于跨节点的 Pod，由于它们位于不同的网络命名空间，因此需要通过网络插件进行路由转发，以实现通信。

2025-02-06 15:43:22 546

原创 Docker常用命令

Docker常用命令

2025-02-06 15:26:08 338

原创测试自动化：调用shell命令

pty.spawn(argv[, master_read[, stdin_read]])方法生成一个进程，并将其控制终端连接到当前进程的标准io，master_read,stdin_read是两个函数，pty.spawn()调用时向这两个函数传入一个文件描述符，这两个函数会返回一个字符串，默认字符串长度是1024bytes， master_read的回调函数从子进程中读取输出，stdin_read从父进程的标准输入中读取数据，实现人机交互。pxssh 类是pexpect的派生类，用来建立ssh连接。

2024-06-05 17:58:32 925

原创 CentOS 8.1安装python

yum -y install gcc zlib* libffi-devel openssl openssl-devel（pip需要）由于CensOS8.1在虚拟化安装时，默认没有安装python，需要编译安装python，本次以python3为例安装python。path路径是按照$PATH路径搜索，可以在这些路径下都替换为编译的python3或pip3。2：安装gcc和make，以及缺失的依赖包。1下载python3源码，官网下载地址。或者直接把路径加到 $PATH。5：做链接，替换之前原有的文件。

2024-06-05 17:56:26 547

原创 echarts常用配置说明

/默认是emptyCircle，可选值：'circle', 'rect', 'roundRect', 'triangle', 'diamond', 'pin', 'arrow', 'none'，//可选值：'circle', 'rect', 'roundRect', 'triangle', 'diamond', 'pin', 'arrow', 'none'//可以设置成特殊值 'dataMin'，此时取数据在该轴上的最小值作为最小刻度,不设置时会自动计算最小值保证坐标轴刻度的均匀分布。

2024-06-05 11:25:12 930

原创性能直方图工具 histogram_dump.py

该工具用于整洁且动态的显示被监控设备的性能直方状态；相关如下：用于将原本采用以下指令获取的性能直方数据更直观的显示出来，同时具备动态监视功能。

2024-06-05 11:13:27 1014

原创对象whiteout标记

在rados list 命令中，调用了store层的collection_list 接口，在这个接口中是不涉及oi信息的读取操作的。在一个卷打快照，写数据产生克隆对象后，执行unmap删除卷上部分数据，删除了对应的head对象。然后创建一个空的head对象，在新的head对象的oi信息中增加 whiteout = true 的标记。在快照场景，当删除head对象时，检查是否还有克隆对象存在，如果存在克隆对象。从一种意义上来说，有快照存在的情况下，head不会真正的完全删除，快照对head是有依赖的。

2024-06-05 11:09:08 158

原创 gdb中打印stl、boost容器

把编译机上 /opt/rh/devtoolset-7/root/usr/share/gdb/python/libstdcxx/v6 拷贝到环境上，覆盖掉/usr/share/gcc-4.8.2/python/libstdcxx/v6 这个目录即可。像TrackedOp这个类型，除了继承list_base_hook之外，还包含了一个 list_member_hook类型，则next_指向的地址值需要减去24。在测试环境上，gdb使用的是默认的系统自带的 stl 实现的方法解析的。

2024-06-05 11:07:47 397

原创 TiDB v7.1.0 跨业务系统多租户解决方案

我们验证了针对单个在线业务的资源调整，以及模拟了重要业务在经历完整波峰、低谷的运行周期内各个业务的运行情况，每个要点的测试数据和结果都符合我们的预期，证明了该资源管控技术的可行性。

2024-06-04 11:21:54 299

原创 TiDB Serverless Branching：通过数据库分支简化应用开发流程

2023 年 7 月 10 日，正式商用。这是一个完全托管的数据库服务平台（DBaaS），提供灵活的集群配置和基于用量的付费模式。紧随其后，TiDB Serverless Branching 的测试版也发布了。TiDB Serverless Branching 功能使用户能够为其集群创建分支。这些分支可以实现并行开发，促进新功能快速迭代，排查故障，开发者无需中断生产数据库的运行。该功能不仅简化了开发和部署过程，还保持了生产环境中数据库的稳定性和可靠性。

2024-06-04 11:21:01 1014

原创飞得更高，扎得更深：数据新生态的突围之路

数据库一直被认为是软件市场皇冠上的明珠。即使在基础软件领域，数据库也是最难突破的。然而，近年来市场环境的快速变化，带来了新的契机。在技术方面，分布式、云原生等新技术的流行，使得数据库产品正经历着更新换代；在中国市场，国产化需求的增长，也给更多数据库厂商带来了生存空间。这些因素的共同作用，使得原本“铁板一块”的数据库市场，呈现出了明显的松动迹象，一大批数据库新生代快速崛起，形成了突围之势。但这也意味市场竞争的加剧，仅国内数据库厂商就超过 200 家。因此，探索出一条数据库新生代的突围之路，就成为当务之急。

2024-06-04 11:19:12 573

原创 AI 时代数据库如何 Ready？TiDB 率先给出答案

当ChatGPT横空出世的那一刻，很多行业都为之一震，意识到变革时刻已经到来。数据库是最早“觉醒”且付之行动的领域之一。业内普遍认为，大模型所呈现出的强大能力，让 Data+AI 成为数据库领域的大势所趋。大模型与数据的同频共振，不仅会对当前的数据库技术架构带来根源性重构，更有望让数据库市场形成差异化的竞争，带来无限可能。

2024-06-04 11:18:32 516

原创分布式数据库的应用历程和 TiDB 7.1 新特性探索

一般来说，限流做在 Proxy 层会比较多一点，但是我们现在不具备这种能力，如果数据库层遇到突发情况能做一个 SQL 级的、针对单 SQL 的限流，这是非常好的一个功能，不用去改代码重发应用，直接在数据库侧通过简单的 SQL Binding 和资源组就能做到。原有的 MySQL 架构还是一主两从，因为写入量比较大，而且还开着半同步复制，处理量大的时候，MySQL 主库还是有些延迟的，导致读写分离功能并不适用，两个从库基本上就是做灾难恢复用的，所以整体的资源使用率非常低。我们计划在下半年上线更多的业务系统。

2024-06-04 11:17:00 828

原创最佳实践：TiDB 业务读变慢分析处理

了解 TiDB 的读过程，有助于我们掌握数据库的底层执行原理，遇到问题时可以快速定位和分析原因，也能引导我们更好地使用数据库，发挥其最好的性能。TiDB Dashboard 是对用户非常友好的一个官方工具，它使得我们分析慢查询 SQL 变得更轻松和快速，大大降低了问题处理的时间，强烈建议使用。

2024-06-04 11:16:12 352

原创金融行业数据库的选择

库里南作为豪车已经称霸多年。同样，数据库领域的 Oracle 也是豪车级的“库里南”，是集中式数据库的天花板。但是，面对异军突起的分布式数据库，在自主创新的环境下，我国自主研发的数据库能否厚积薄发成为“库里南”，将面临时代的考验。

2024-06-04 11:15:18 1245

原创 TiDB x 安能物流丨打造一栈式物流数据平台

本文以安能物流作为案例，探讨了在数字化转型中，企业如何利用 TiDB 分布式数据库来应对复杂的业务需求和挑战。安能物流作为中国领先的综合型物流集团，需要应对大规模的业务流程，面临着核心结算系统所带来的数据库挑战。安能将结算系统 all in TiDB，克服传统 MySQL 数据库所面临的瓶颈，实现平稳迁移和性能提升的同时，打造一栈式物流数据平台，加速数字化升级。安能结算系统作为公司最核心的业务系统，承载了总部与末端加盟商网点所有费用结算业务，包括：账户管理、充值、开票、交易、调账、对账、代收、代付、税差等全

2024-06-04 11:14:32 519

原创 AI 时代的向量数据库、关系型数据库与 Serverless 技术

为了搞清楚这个问题，我花了一些时间研究了一下向量数据库。接下来我将用最简单的语言来解释什么是向量数据库。这个世界上的大多数事情都是多特征的，比如你描述一个人可以用身高、体重、性格、性别、穿衣风格、兴趣爱好等等多种不同类型的维度。通常如果你愿意的话，你可以无限扩展这个维度或者特征去描述一个物体，维度或者特征越多，对于一个物体或者事件的描述就是越准确的。现在，假如开始用一个维度来表达 Emoji 表情的话，0 代表快乐，1 代表悲伤。

2024-06-04 11:13:40 489

原创财富管理行业数字化转型升级，数据库如何选型？

再次，大厂倡导的分库分表技术肯定是成熟的，但对小企业来说，这带来的工作量是巨大的，在研发资源有限的情况下，这其中的成本不得不考虑；最后，TiDB 的 HTAP 融合架构解决了很多，以往的大批量数据计算任务对资源消耗极大且运行速度很慢，TiDB 在跑这类任务时资源隔离的情况下还能做到智能路由，资源隔离可以保证多个业务可放入一个集群，每个业务配置指定的 RU ，保证业务之间不会相互干扰。：以投顾业务为例，首先该业务需要迅速理解客户需求，并基于数据驱动的逻辑做出快速、敏捷的反应，这对底层的数据能力要求较高；

2024-06-04 11:12:40 281

原创 TiDB 业务写变慢分析处理

常规写入慢的问题，我们可以依次排查物理硬件环境、是否有业务新上线，是否有 DDL 变更操作、执行计划不准、热点问题等情况，通常可以定位到问题，再针对性解决对于复杂问题则需要对写入过程逐一分析和对比，通常需要反复观察、对比、验证才能找到根本的原因对于开发人员或 DBA，会解决具体的问题是一项很重要的能力，但定位问题根因所在的能力更难能可贵！这里想表达的意思，和大家耳熟能详的故事异曲同工：“老师傅，故障已排除，但就凭这一条线也要 10000$？！“画这条线要 1$，但知道在哪里画要 9999$！

2024-06-03 14:30:37 781

原创 TiDB 7.1.0 LTS 特性解读丨关于资源管控 (Resource Control) 应该知道的 6 件事

由于时间关系，关于 “资源控制 (Resource Control)” 的内容暂且就分享到这里，内容颇多，相信能读到这里的 “Ti 友” 都是真正喜爱 TiDB 的。文本分享了若干具体的使用方式，也提出了若干问题，力争做到求真务实，相信对 TiDBer 有所提示和帮助。

2024-06-03 14:29:11 666

原创证券核心交易系统分布式改造将迎来规模化落地阶段

近年来，数字化转型成为证券业发展的下一战略高地，根据 2021 年证券业协会专项调查结果显示，71% 的券商将数字化转型列为公司战略任务。在落地数字化转型战略过程中，证券业核心交易系统面临着不少挑战。构建新一代分布式核心交易系统成为券商落地数字化转型的有效路径，证券业核心交易系统分布式改造已是大势所趋。证券业核心交易系统有什么需求？有哪些挑战？如何进行分布式架构升级?在 PingCAP 用户峰会 2023 上，华锐分布式技术实验室主任何志东接受采访时给出了他的观察和思考。

2024-06-03 14:27:57 664