数据库中分库分表的知识

最新推荐文章于 2025-03-25 10:00:00 发布

薛定谔的猫1982

最新推荐文章于 2025-03-25 10:00:00 发布

阅读量1k

点赞数 20

分类专栏：系统架构文章标签：数据库 oracle

本文链接：https://blog.youkuaiyun.com/sadfasdfsafadsa/article/details/145449632

版权

系统架构专栏收录该内容

136 篇文章

订阅专栏

基本概念

分库：把原本存储在单个数据库中的数据分散到多个数据库中。例如，一个大型电商系统，可将用户数据库、商品数据库、订单数据库分开存储。
分表：将一个表的数据拆分成多个表进行存储。当一张表的数据量过大时，操作效率会降低，分表能提升性能，如将用户表按一定规则拆分成多个子表。

常见场景

数据量过大：当单表数据量达到千万甚至上亿级别时，查询、插入、更新等操作的性能会显著下降。例如，日志表随着时间积累数据量不断增大，就需要进行分表处理。
并发压力过高：当数据库的并发访问量非常大，单个数据库无法承受时，就需要分库来分散压力。如电商系统在促销活动期间，大量用户同时下单，订单数据库的并发压力急剧增大。
存储空间不足：单个数据库服务器的存储空间有限，当数据量增长到一定程度，可能会出现存储空间不足的问题，分库分表可以将数据分散到多个服务器上，缓解存储压力。

常见方式

垂直拆分

垂直分库：按照业务功能将数据库进行拆分，每个数据库负责特定的业务。比如，电商系统中，将用户信息、商品信息、订单信息分别存储在不同的数据库中。优点是便于维护和管理，不同业务的数据分离，提高了系统的可扩展性和可维护性；缺点是可能会导致跨库事务问题，增加了开发和维护的难度。
垂直分表：将一个表按照字段进行拆分，把经常一起查询的字段放在一个表中，不常用的字段放在另一个表中。例如，用户表中，将用户的基本信息（如用户名、密码）和用户的详细信息（如地址、爱好）分开存储。优点是可以减少表的宽度，提高查询性能；缺点是增加了表的数量，可能会导致关联查询的复杂度增加。

水平拆分

水平分库：将一个数据库中的数据按照一定的规则（如哈希、范围等）分散存储到多个数据库中。例如，将用户数据按照用户 ID 的哈希值分散到多个数据库中。优点是可以提高数据库的并发处理能力，减轻单个数据库的压力；缺点是数据的分布和管理比较复杂，可能会导致数据倾斜问题。
水平分表：将一个表中的数据按照一定的规则（如哈希、范围等）分散存储到多个表中。例如，将订单表按照订单日期进行范围划分，每个月的数据存储在一个表中。优点是可以提高表的查询和写入性能，减轻单个表的压力；缺点是增加了表的数量，可能会导致表的管理和维护难度增加。

实施步骤

选择分库分表策略：根据业务需求和数据特点选择合适的分库分表策略，如哈希、范围、列表等。
设计数据库和表结构：根据分库分表策略设计数据库和表的结构，确保数据的合理分布。
编写分库分表代码：可以使用中间件（如 MyCAT、ShardingSphere 等）或手动编写代码来实现分库分表。
数据迁移：将原有的数据迁移到新的数据库和表中。
测试和优化：对分库分表后的系统进行测试，根据测试结果进行优化。

面临挑战及解决方案

跨库事务问题

挑战：分库后，涉及多个数据库的事务难以保证一致性。例如，在一个订单业务中，同时涉及订单库和库存库的更新操作，若其中一个操作失败，需要保证另一个操作也回滚。
解决方案：可以采用柔性事务，如 TCC（Try-Confirm-Cancel）、Saga 等模式；也可以使用支持分布式事务的数据库中间件。

数据迁移问题

挑战：在分库分表过程中，需要将原有的数据迁移到新的数据库和表中，迁移过程中可能会出现数据丢失、数据不一致等问题。
解决方案：在迁移前进行充分的数据备份和数据验证；采用增量迁移和全量迁移相结合的方式；迁移过程中进行实时监控和数据比对，确保数据的准确性和完整性。

数据倾斜问题

挑战：水平分库分表时，可能会出现数据分布不均匀的情况，导致某些数据库或表的数据量过大，而其他数据库或表的数据量过小，从而影响系统的性能。
解决方案：选择合适的分库分表策略，避免数据集中在少数节点上；对数据进行预处理，如对数据进行哈希取模前先进行预处理，使数据更加均匀分布。

跨节点查询问题

挑战：分库分表后，查询可能需要跨多个数据库或表进行，增加了查询的复杂度和性能开销。
解决方案：尽量避免跨节点查询，通过数据冗余、缓存等方式减少跨节点查询的次数；对跨节点查询进行优化，如采用分布式查询引擎、并行查询等技术。

选择题

题目：以下关于数据库分库分表的描述，错误的是（）
A. 垂直分库是按照业务功能将数据库进行拆分
B. 水平分表是将一个表中的数据按照字段进行拆分
C. 分库分表可以提高数据库的并发处理能力
D. 分库分表可能会带来跨库事务和数据迁移等问题

答案：B

解析：水平分表是将一个表中的数据按照一定的规则（如哈希、范围等）分散存储到多个表中，而将表按照字段进行拆分是垂直分表的概念，所以选项 B 描述错误。选项 A，垂直分库就是按业务功能拆分数据库，比如电商系统中把用户、商品、订单库分开；选项 C，分库分表能分散数据和压力，从而提高并发处理能力；选项 D，分库分表确实会带来跨库事务难以保证一致性以及数据迁移过程复杂等问题。

案例分析题

题目：某互联网电商企业业务发展迅速，其订单数据库单表数据量已经达到了 5 亿条记录，且每天新增订单记录约 10 万条，在业务高峰期数据库的并发查询和写入请求非常大，导致系统响应缓慢。企业决定对订单数据库进行分库分表改造。

请分析该企业适合采用哪种分库分表方式，并说明理由。
简述在进行分库分表改造过程中可能会遇到的问题及相应的解决思路。

答案：

分库分表方式：建议采用水平分库和水平分表相结合的方式。
理由：从数据量角度来看，单表数据量已达 5 亿条且每天新增 10 万条，数据量巨大，水平分表可以将数据分散到多个表中，减轻单个表的查询和写入压力。从并发压力角度，业务高峰期并发查询和写入请求大，水平分库可以将数据分散到多个数据库中，提高数据库的并发处理能力。例如，可以按照订单 ID 的哈希值进行水平分库，将订单数据分散到多个数据库实例；再按照订单日期进行水平分表，每个月的数据存储在一个表中，这样既考虑了数据的均匀分布，又便于按时间维度进行数据管理和查询。

可能遇到的问题及解决思路：
- 跨节点查询问题：分库分表后，查询可能需要跨多个数据库或表进行，增加了查询的复杂度和性能开销。解决思路是尽量避免跨节点查询，通过数据冗余、缓存等方式减少跨节点查询的次数；对跨节点查询进行优化，如采用分布式查询引擎、并行查询等技术。
- 数据倾斜问题：水平分库分表时，可能会出现数据分布不均匀的情况，导致某些数据库或表的数据量过大，而其他数据库或表的数据量过小，从而影响系统的性能。解决思路是选择合适的分库分表策略，避免数据集中在少数节点上；对数据进行预处理，如对数据进行哈希取模前先进行预处理，使数据更加均匀分布。
- 数据迁移问题：将原有的数据迁移到新的数据库和表中，迁移过程中可能会出现数据丢失、数据不一致等问题。解决思路是在迁移前进行充分的数据备份和数据验证；采用增量迁移和全量迁移相结合的方式；迁移过程中进行实时监控和数据比对，确保数据的准确性和完整性。
- 跨库事务问题：在分库后，涉及多个数据库的事务难以保证一致性。例如，一个订单业务可能同时涉及订单库和库存库的更新操作，若其中一个操作失败，需要保证另一个操作也回滚。解决思路是采用柔性事务，如 TCC（Try - Confirm - Cancel）、Saga 等模式；也可以使用支持分布式事务的数据库中间件。