- 博客(826)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 TiDB 可观测性解读（二）丨算子执行信息性能诊断案例分享
通常我们可以用 explain analyze 语句获得算子执行信息。explain analyze 会实际执行对应的 SQL 语句，同时记录其运行时信息，和执行计划一并返回出来，记录的信息包括： actRows 、 execution info 、 memory 、 disk。不同算子的 execution info 可以通过 TiDB 文档 ( https://docs.pingcap.com/zh/tidb/stable/sql-statement-explain-analyze )了解。
2025-03-28 15:10:29
670
原创 TiDB × AI ：DeepSeek 时代你需要什么样的数据基座
AutoFlow 是一套 GraphRAG 框架，不仅提供了类似于 LlamaIndex 的能力，而且还内置语义化的知识图谱构建和召回，以及我们在 AutoFlow 上实践得出的一系列行之有效的领先的 RAG 能力（这些接下来会介绍）。不过需要强调的是，Dify 是一个开箱即用的非常易用的界面，而 AutoFlow 虽然功能更强却则具有比较高的使用门槛，所以这两个选择其实面向了不同的群体，用户需要依据自己的实际需求进行选择。它并非传统的基于规则的优化工具，而是利用大模型的知识来优化不同类型的数据库。
2025-03-21 14:10:46
1120
原创 架构师必看！现代应用架构发展趋势与数据库选型建议丨TiDB vs MySQL 专题（一）
随着业务系统数据量的增长，早起只能无奈采取分库分表方案以及架构，这不单为运维带 来了极高的复杂度，同时对业务开发也带来的极大的入侵，SQL 只能限定按照 shard key 维度进行编写，无法任意维度的进行 SQL 查询，开发不得不牺牲业务需求，业务的发展也不得不受限，同时又需投入大量的高精尖人才进行开发维护。这对数据库的承载能力提出了极高的挑战，不但需要承载大数据量，又需要保障业务读写性能的稳定性，而在数据的承载能力上，MySQL 的极限，是 TiDB 的起点。一行命令完成扩展，无需任何的人工干预。
2025-03-20 11:45:45
831
原创 TiDB 观测性解读（一）丨索引观测：快速识别无用索引与低效索
通过识别并优化未使用或低效的索引，可以减少资源浪费，并提高系统的响应速度和稳定性。在 TiDB 中，TIDB_INDEX_USAGE 系统表提供了相对丰富的索引使用统计数据，帮助 DBA 快速发现低效索引，并通过优化或删除它们来提升数据库效率。尽管删除索引的操作相对简单，但在实施时仍需注意潜在的限制和风险，尤其是在大数据量和高并发环境下。定期检查索引使用情况，尤其是对于大规模数据库。确保用于决策的统计数据涵盖足够长的业务周期，避免误判。
2025-03-13 16:29:05
636
原创 海量数据融合互通丨TiDB 在安徽省住房公积金监管服务平台的应用实践
目前安徽省住房公积金监管服务平台已具备一系列功能模块，包括首页、运营分析、统计报表、智慧大屏、数据治理、风险检查和系统管理。其中，运营分析主要用于从不同维度分析公积金业务指标，统计报表则负责生成、填报和查询住建部规定的报表，同时也支持省级用户的报表导入、核对和更新。智慧大屏提供了综合和业务两大类可视化展示，而数据治理模块则涵盖了传数统计、数据检核和人工数据核对等功能，以确保数据的质量。风险检查方面，平台不仅支持公积金中心的自我检查，也支持省厅的检查，并可以根据需要添加新的检查模型。
2025-03-06 13:39:39
911
原创 TiDB Chat2Query 深度解析：我们如何打造一款更高效、准确的智能 SQL 生成工具？
上个季度的销售额是多少？“哪个产品类别表现最佳？“本月客户投诉的趋势如何？相比其他工具，Chat2Query 能够对用户上传的大规模数据集进行理解和分析， 摒弃繁杂的专业术语和查询语句，Chat2Query 使得用户能够通过自然语言直接向数据库提问，并即时获得答案。
2025-02-24 15:44:46
1085
原创 4.98 亿月活背后的国产数据库：咪咕视讯携手 TiDB 攻克内容分发核心系统挑战
咪咕大概是 2018 年左右正式开始对分布式数据库进行研究的，到现在为止我们看到和测试过太多的国内产品。但是在当时，敢用 LSM 树而不是 B+ 树做存储引擎，敢做分布式存算引擎分离的，能够行列副本共存、优化器路由分流做 MPP shuffle 的，市面上真的真的非常非常地不多见。比较多的是精致的分库分表外挂，或某些知名国外产品的模仿版。TiDB 的产品给我的印象是极具冲击性的，那么大胆、不随大流。验证和使用下来，效果也是切实的。
2025-02-20 15:29:58
679
原创 53 倍性能提升！TiDB 全局索引如何优化分区表查询？
在 TiDB 中，全局索引是一种定义在分区表上的索引类型，它允许索引分区与表分区之间建立一对多的映射关系，即一个索引分区可以对应多个表分区。这与 TiDB 早期版本中的本地索引（Local Index）不同，本地索引的索引分区与表分区之间是一对一的映射关系，即一个分区对应一个局部的索引块。全局索引能覆盖整个表的数据，使得主键和唯一键在不包含分区键的情况下仍能保持全局唯一性。此外，全局索引可以在一次操作中访问多个分区的索引数据，而无需对每个分区的本地索引逐一查找，显著提升了针对非分区键的查询性能。
2025-02-17 16:28:29
729
原创 一行代码不用写，用 Autoflow + Gitee AI 搭建本地知识库问答机器人
本文详解 AutoFlow 从部署到配置的完整流程，包括数据库连接、模型设置、知识库创建及聊天引擎配置，实现了一行代码不用写的问答机器人快速搭建。轻松上手，助力开发者探索智能问答解决方案。
2025-02-05 17:34:10
657
原创 攻克多版本运维难题：爱奇艺百套 TiDB 集群升级至 v7.1.5 实战宝典来袭！
本文将深入探讨爱奇艺如何通过升级，成功将百套 TiDB 集群从多个旧版本升级至 v7.1.5，攻克多版本运维挑战，获得更稳更快的 TiDB 使用体验。
2025-02-05 17:28:47
871
原创 百亿大表的实时分析：华安基金 HTAP 数据库的选型历程与 TiDB 使用体验
明确需求：首先评估业务对 TP（事务处理）和 AP（分析处理）的需求比重，确定数据量、查询速度和响应时间，确保数据库能满足业务对实时性的要求。技术特性评估：考虑数据库的实时分析能力、可扩展性、高性能、安全性和灵活性，以支持业务人员实施的场景需求，特别是后台营销人员对数据实时性的需求。集成与兼容性：评估数据库与现有数据库、应用程序和其他关键系统的集成能力，确保数据同步策略的无缝实施。安全性与可靠性：重视数据库的安全性措施、容灾备份机制、数据恢复能力和错误处理机制，保障业务连续性和数据安全。
2025-02-05 17:24:47
691
原创 TiDB 的高可用实践：一文了解代理组件 TiProxy 的原理与应用
TiDB 是一款典型的分布式存算分离架构的数据库，其中计算层由多个无状态的 TiDB Server 组成，这些 TiDB Server 同时对外承担连接请求。为了可以将连接分发到多个 TiDB Server 节点上，一般需要借助外部负载均衡组件如硬件负载均衡 F5、软件负载均衡 HAProxy 等。为了实现全链路的高可用架构，我们经常也需要考虑负载均衡组件本身的高可用性，比如通过 KeepAlived 来保证 HAProxy 的高可用。
2025-01-17 15:18:37
939
原创 你需要什么样的资源隔离？丨TiDB 资源隔离最佳实践
通过本文的学习，相信大家对 TiDB 的资源隔离能力有了更全面的理解；大家可以根据不同的场景需求，选择合适的资源隔离方案。如果您有新的资源隔离需求或场景，欢迎与我们联系。
2025-01-16 11:48:38
881
原创 狂飙 50 倍丨TiDB DDL 框架优化深度解析
前面我们介绍了 TiDB DDL 任务的整体执行流程。接下来，让我们聚焦到在线 Schema 变更的细节上。执行单步变更：Job Worker 会根据任务定义，执行一次在线 Schema 的变更。每一次变更都代表着 Schema 向目标状态迈进了一步，即进入下一个状态，可能的状态包括 write-only 和 delete-only 等。状态更新：完成单步变更后，Job Worker 会将当前的 Schema 状态更新到元数据中。
2025-01-16 11:47:42
962
原创 唐刘：TiDB 的 2024 - Cloud、SaaS 与 AI
最后再说下产品，在今年，我们发布了TiDB 8.1和8.5两个版本。在 2025 年，我们会有一个重大的改变，就是会持续的投入到 8.5 版本的质量加固，同时收敛新功能的开发，只会在 2025 年发布一个有更高质量的 LTS 版本。关于 TiDB 8 系列，我后面再写一篇文章详细的介绍一下吧。在 2024 年，我们交付了非常不错的成果，当然，能取得这样的成绩，来自于我们不断地交付优异的产品，满足客户的需求，赢得客户的信任。
2025-01-16 11:46:26
789
原创 TiDB 助力广发银行零售信贷业务管理平台成功上线
本项目涉及到多套 DB2 数据迁移到 TiDB 的实施，因此需要合理规划一套投产前和切换当天的数据迁移方案，结合投产计划和业务数据的改变特性，设计了 T+5（T5） 和 T+0（T0） 两个阶段，T5 完成全量数据的提前同步和校验，T0 完成 T5 阶段与切换之间的增量数据同步和校验。在不影响原有业务系统运行的前提下，T5 阶段的全量数据迁移和校验在线上完成。TiDB 在广发银行零售信贷系统中的应用，不仅提升了系统性能和可用性，还实现了成本效益和自主可控的目标，也为银行的业务发展提供了坚实的数据支撑。
2025-01-16 11:45:13
1004
原创 PingCAP 连续两年入选 Gartner 云数据库管理系统魔力象限“荣誉提及”
TiDB 凭借领先的 HTAP 架构设计，支持用户在云上的数据库中同时运行关键业务交易和实时分析任务，充分享受云的弹性优势和业务连续性优势，助力企业实现数据敏捷。PingCAP 是业界领先的企业级开源分布式数据库企业，提供包括开源分布式数据库产品、解决方案与咨询、技术支持与培训认证服务，致力于为全球行业用户提供稳定高效、安全可靠、开放兼容的新型数据服务平台，解放企业生产力，加速企业数字化转型升级。
2025-01-06 17:48:19
449
原创 TiDB 8.5 LTS 发版——支持无限扩展，开启 AI 就绪新时代
TiDB 8.5 扩展了Runaway Queries 的功能，新增“处理行数”和“用量（RU）”作为识别标准，实现更精确的识别，并允许将这些 Runaway Queries 放入一个资源可控的组中，确保在高负载环境下集群的稳定性。TiDB 8.5 通过实例级执行计划缓存功能，使得同一 TiDB 实例内的所有会话共享执行计划缓存，减少SQL编译时间，从而降低整体 SQL 运行时间，提高 OLTP 的性能和吞吐量，并有效地控制内存使用，提升数据库的稳定性。
2025-01-06 17:44:45
588
原创 基于时间维度水平拆分的多 TiDB 集群统一数据路由/联邦查询技术的实践
通过该组件与 TiDB 分布式数据库的有效结合，可以实现近乎无容量上限的超大规模数据管理，尤其是对于重要程度高、吞吐量大、业务敏捷性强、数据冷热特征明显的业务系统。不仅能够支撑面向内外部客户业务无损的多维度、不受分片键制约的灵活高效访问，还可以有效控制和平衡单集群的负载、容量、资源利用率、稳定性等关键指标，在不增加过多复杂性的前提下实现更强的整体扩展能力。当然，组件的现有功能更多是聚焦在当前的客户场景，未来可以按需在功能性、易用性、高性能等方面进一步优化和提升。
2025-01-06 17:41:51
693
原创 Rakuten 乐天积分系统从 Cassandra 到 TiDB 的选型与实战
Rakuten 乐天是一家成立于 1997 年的日本公司，总部位于东京，员工总数超过 30,000 人，业务遍及 100 多个国家和地区。除了电商业务外，乐天还涉及电信、金融等多个行业。乐天的积分系统在日本非常普及，用户通过使用乐天的服务，如银行卡、手机卡等，可以获得积分，并在乐天商城中使用这些积分进行购物或抵扣，我们每个季度还会举办促销活动、会有大量用户高频访问积分系统，因此，乐天积分服务平台的性能、延迟和可用性要求极高。
2025-01-06 17:40:41
1125
原创 平凯星辰亮相开放原子开发者大会，TiDB 荣获年度活跃开源项目奖项
12 月 20 - 21 日，以“一切为了开发者”为主题的 2024 开放原子开发者大会暨首届开源技术学术大会在武汉成功举办。平凯星辰亮相本次大会，出品 AI 时代的数据库技术发展论坛，获评“校源行”优质开源课程合作单位。由平凯星辰创立的开源分布式数据库 TiDB 获评“2024 年度数据库领域国内活跃开源项目”，7 位 TiDB 开发者获评“2024 年度数据库领域国内活跃开源开发者”，彰显了 TiDB 在开源数据库领域的卓越影响力和社区活力。
2024-12-26 11:53:09
446
原创 B 站数据库负责人赵月顺：助力海内外业务增长，百套 TiDB 的选型与运维实战
B 站的 TiDB 集群规模已达到 100 多套，计算节点超过 2000 个，存储节点超过 800 个。TiDB 的应用场景非常广泛，包括视频观看、一键三连、发送弹幕、撰写评论、阅读漫画以及视频后端的存储等。B 站的 TiDB 部署采取了存算分离的策略，计算节点被部署在容器中，这种做法的优势在于能够充分发挥容器化管理无状态服务达到水平弹性拓展能力，允许根据需求随时对计算节点进行扩展或缩减，整个过程仅需一次服务发版，有效提升了效率与灵活性。存储节点则继续部署在物理机上。
2024-12-20 16:50:04
1056
原创 微众银行携手平凯星辰荣膺金融科技创新奖，共同打造纳管千台服务器的大规模数据库运维平台
在过去的十年中，平凯数据库在金融行业积累了丰富的实践经验，已经在国有大型银行的 PB 级别数据服务平台、头部商业银行的核心交易系统、头部保险公司的核心保单系统、头部证券公司的核心交易系统等领域，成功完成了对国外商业数据库和 MySQL 数据库的替换升级，部署了超过 1,000 套关键业务系统，集群节点总数超过了 10,000 个。为了应对这些挑战，同时满足金融行业对高可用、高可靠、高性能数据库的需求，微众银行开发了一套完整的运维体系，打造了大规模信创原生分布式数据库智能运维平台。
2024-12-20 16:48:04
427
原创 知乎 PB 级别 TiDB 数据库集群管控实践
知乎的数据库团队以“致力于提供稳定、高效和易用的数据库服务”为目标，为公司业务团队提供更好的 TiDB 存储服务来应对高并发、复杂查询和大数据存储的需求。本文详细介绍了 TiDB 的生态架构，包括核心组件、数据迁移与同步、运维与监控平台、备份与恢复、生态集成、K8s 支持、工具集和安全与审计等方面。同时探讨了知乎如何在云上和云下环境中管控 TiDB 集群，以及如何通过自研的天穹平台实现数据库平台化建设，提升业务研发团队数据库变更和 DBA 团队的资源管控效率。
2024-12-18 17:41:16
951
原创 TiDB 优化器 | 执行计划管理及实践
本文深入解析了 TiDB 优化器的执行计划生成过程及其局限性，介绍了如何通过 Hint、SQL Binding、执行计划缓存等技术手段进行执行计划管理，确保查询性能的稳定性和高效性。
2024-12-12 13:59:34
962
原创 商业银行基于容器云的分布式数据库架构设计与创新实践
本文介绍了某商业银行基于 TiDB 和 Kubernetes(简称 K8s) 构建的云化分布式数据库平台，重点解决了传统私有部署模式下的高成本、低资源利用率及运维复杂等问题。通过引入 TiDB Operator 自动化管理与容器化技术，银行能够实现多个业务系统的高可用、弹性扩展与自动化运维，极大提高了运营效率与资源利用率。本文还详细阐述了平台架构设计、面临的技术挑战及创新解决方案，展示了 TiDB 在金融行业数字化转型中的应用前景。
2024-12-09 19:24:17
1128
原创 PingCAP 荣膺 2024 亚马逊云科技合作伙伴两项殊荣
近日，在 2024 亚马逊云科技 re:Invent 全球大会上，PingCAP 荣膺亚马逊云科技年度技术合作伙伴和年度亚马逊云科技 Marketplace 合作伙伴两项殊荣。这是 PingCAP 连续第二年获得亚马逊云科技年度合作伙伴奖项，彰显了 PingCAP 在与亚马逊云科技合作服务客户的过程中所展现的卓越技术实力和专业服务能力，共同推动全球用户业务取得成功。
2024-12-05 14:23:30
411
原创 基于 AutoFlow 快速搭建基于 TiDB 向量搜索的本地知识库问答机器人
通过本篇文章介绍，相信大家对使用 PingCAP 开源项目 AutoFlow 实现快速搭建基于 TiDB 的本地知识库问答机器人会有一个完整的了解。如果提前准备好 Docker、TiDB 环境，整个搭建过程估计在 10 分钟左右即可完成，无须开发任何代码。文中使用一篇 TiDB 文档作为本地数据源作为示例，在实际情况中，您可以基于自己的企业环境用同样的方法快速构造企业内部知识库问答机器人。
2024-12-05 14:22:04
1100
原创 TiDB 关联子查询及半连接的优化实践
TiDB 针对子查询语句会执行多种子查询相关的优化，以提升子查询的执行性能。半连接语句和关联子查询语句是常用的两类子查询，TiDB 优化器默认包含一些自动优化策略，同时 TiDB 也提供额外的 HINT 用于影响优化器在特定场景下可以选择更高效的执行计划。本文针对半连接及关联子查询语句在 TiDB 中的用法及优化技巧进行说明。
2024-11-28 17:05:11
1203
原创 实战丨证券 HTAP 混合业务场景的难点问题应对
某领先的全国性大型综合证券公司，坚持以核心业务为发展重心，并积极投身于前沿科技的应用创新。本文将分享该证券公司债权开放信息平台的构建经验，深入探讨如何利用 TiDB 分布式数据库成功应对 HTAP 场景下的挑战，满足数据实时性、可靠性、资源隔离、可维护性等要求。通过这一实践案例，我们可以看到 TiDB 如何在金融服务领域发挥关键作用，以及它如何帮助企业在激烈的市场竞争中保持领先地位。
2024-11-28 17:00:03
762
原创 安能物流 All in TiDB 背后的故事与成果
再加上这套业务系统逻辑复杂，涉及到从开单、交易、结算、扫描操作最后到签收都是一个单体大集合，并且在数据库中使用了大量的储过程和定时任务来进行业务逻辑和数据的处理，所以每当系统出现异常，影响业务正常操作时，无论是研发还是运维，都很难快速定位和解决问题，系统故障时常发生，研发和运维也常互相推诿扯皮。安能在以往系统建设的过程中，每个业务环节按照项目制独立进行系统设计开发，底层也就使用了不同的数据库技术栈来实现数据的存储和处理，导致业务全链路数据流转交互困难，甚至形成数据孤岛，运维成本极高。
2024-11-27 14:10:01
842
原创 TiDB 助力北京电信夯实电信账务系统的数据底座
系统采用 TiDB 分布式数据库，不仅满足实时交易和大数据分析的需求，还具备在线扩容、无需分库分表等多重特性，如同“铁布衫”般坚固的底层支撑，为账务系统的稳定运行提供了有力保障。：为账务中心所有业务、数据和应用打造全面覆盖的双活运行，如同“金钟罩”的坚固外层有效抵御外在风险，当一方遇险时，备份立即补位，确保在任何情况下都能为用户提供无间断的服务。鉴于电信行业对稳定性和数据安全的高要求，核心数据库系统必须具备极高的稳定性、可靠性、安全性和性能，同时拥有全面的容灾能力，确保数据零丢失。随着数字化转型的深入，
2024-11-25 17:03:46
954
原创 TiKV Raft Store 内存管理的原理与实现丨TiKV 源码解读（二十三）
在上文的写请求处理流程图中，Raft Command，Entries，Committed Entries 都已经出场。因为 Unstable 在日志持久化后会清理掉缓存的日志 entries（ https://github.com/tikv/raft-rs/blob/2aefbf627f243dd261b7585ef1250d32efd9dfe7/src/raw_node.rs#L601 ），而有时仍需要读取这些 Entries，就不得不穿透到 Raft Engine 进行读取。
2024-11-25 16:58:30
927
原创 分布式数据库的进度管理：TiDB 备份恢复工具 PiTR 的原理与实践
如果某个 TiKV 的 Checkpoint 因为种种原因一直没有成功推进，就会阻塞住 Global Checkpoint 的推进，进而可能阻塞住 GC，无法正确清除已经完成备份的冗余数据。对于单个 Region，可以通过记录已备份数据的时间戳来实现进度管理：当数据被刷盘时，记录当前时间戳，这个时间戳就是该 Region 完成备份的最小时间节点，即 Checkpoint。同时，我们需要了解到，需要备份的数据并不会永恒的保留。如果我们希望管理备份工作的具体进度，首先需要了解的是，备份工作究竟是怎样完成的。
2024-10-09 10:59:01
1289
原创 TiDB 优化器丨执行计划和 SQL 算子解读最佳实践
导读在数据库系统中，查询优化器是数据库管理系统的核心组成部分，负责将用户的 SQL 查询转化为高效的执行计划，因而会直接影响用户体感的性能与稳定性。优化器的设计与实现过程充满挑战，有人比喻称这是数据库技术要持续攀登的珠穆朗玛峰，永远没有最优的止境。在一般的数据库系统中，查询优化涉及复杂的算法和数据结构，需要综合考虑多种因素，如数据分布、索引选择、连接顺序等，这些因素直接影响查询的性能和资源利用率。优化器在 HTAP（Hybrid Transactional and Analytical Processi
2024-10-09 10:58:26
1433
原创 平凯星辰亮相 2024开放原子开源生态大会，分享开源教育及社区治理经验
9 月 25-27 日，2024 开放原子开源生态大会在北京成功举办，本次大会以“开源赋能产业，生态共筑未来”为主题，由开放原子开源基金会主办，聚焦地方开源实践、企业开源建设思路，围绕开源生态建设，突出人工智能、云原生等重点领域，探索开源技术促进产业升级，塑造未来开源发展的新蓝图。熊岚曦表示，企业和基金会的紧密合作可以更有效地推动开源项目的成功，并培养出更多的开源人才。，由首席讲师董菲领衔授课。未来，平凯星辰将加强与开放原子开源基金会的合作，推动开源教育的普及，培养更多优秀人才，为开源社区贡献力量。
2024-10-09 10:57:36
777
原创 瓜子二手车 x TiDB 丨平均耗时降低 30%，TiDB HTAP 在瓜子二手车财务中台结账核心系统的深度实践
财务中台是连接业务系统与账务系统的中间枢纽，上游对接集团所有业务系统，将业务数据转化为财务视角的数据，从而实现集团层面的业财一体化。同时财务中台可以对线上财务数据进行统一管理与输出，不仅提升了财务月结工作时效，还可以通过财务视角对企业经营状况进行分析，支撑业务决策。系统架构财务中台分为数据接入、标准单据、核心计算、数据输出四个主模块，整体以配置为主，通过配置形式应用上下游业务变化，同时解放技术人员，完全由业务或者运营人员负责业务的对接和数据的转换。
2024-09-25 23:46:28
1153
原创 知乎 PB 级别 TiDB 数据库在线迁移实践
通过三个月的迁移，我们将几十套 TiDB 集群，总量 PB 级数据，通过以上各种方式，安全稳定的迁移到了新机房，在此期间，我们根据迁移方案，也开发了平台化的 DTS ，以及机房迁移模块跟进迁移进度。
2024-09-25 23:45:46
5893
tidb-in-action-20200611.pdf
2020-06-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人