垂直分库和水平分库优缺点

最新推荐文章于 2024-06-21 13:54:01 发布
原创 最新推荐文章于 2024-06-21 13:54:01 发布 · 594 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #mysql

文章探讨了数据库拆分中的水平分库和垂直拆分两种策略。水平分库通过数据行拆分减轻单表查询压力，优点在于表关联简单，但切分规则复杂。垂直拆分则依据列进行，简化表结构，利于数据维护，但可能增加程序中表关联的复杂性。两种方法各有优劣，需根据具体场景选择。
  •  水平分库

以数据库表中的每一行数据进行拆分，分解为多行数据，减轻数据库的单表查询存储压力。

  • 水平分库拆分的优点：

表关联基本能够在数据库端全部完成；
不会存在某些超大型数据量和高负载的表遇到瓶颈的问题；
应用程序端整体架构改动相对较少；
事物处理相对简单，只要切分规则能定义好，基本上较难遇到扩展性限制；

  • 水平切分的缺点：

切分规则相对更为复杂，很难抽象出一个能满足整个数据库的切分规则；
后期数据的维护难度有所增加，人为手工定位数据更为困难；
应用系统各模块耦合度较高，可能会对后面数据的迁移拆分造成一定的困难。

  • 垂直拆分

垂直拆分是指表数据列的拆分，关键列之间直接联系，不常用列之间直接联系，把一张列比较多的表拆分成多张表。表的记录并不多，但是字段却很长，表占用空间很大，检索表的时候需要执行大量的IO,严重降低了性能。这时候需要把大的字段拆分到另外一个表，并且该表与原表是一对一的关系。

  • 垂直切分的优点

数据库的拆分简单明了，拆分规则明确
应用程序模块清晰明确，整合容易
数据维护方便易行，容易定位

  • 垂直切分的缺点

部分表关联无法再数据库级别完成，需要在程序中完成
对于访问极其频繁且数据量超大的表仍然存在性能瓶颈，不一定满足需求；
事务处理相对更为复杂；
切分达到一定程度后。扩展性会遇到限制
过度切分可能会带来系统过度复杂而难以维护；

嘟嘟猫Mil
关注
深度解析数据库垂直与水平拆分：原则详解
fudaihb的博客
01-26 2399
通过详细探讨数据库拆分的原则，包括垂直拆分原则、水平拆分原则、性能优化与监控等方面，读者将能够全面了解数据库拆分的实施细节。通过本文，我们将为读者提供一个清晰的指南，使其能够更好地应用这些原则，解决实际项目中可能遇到的挑战，并充分利用数据库拆分带来的好处。随着业务规模的扩大和数据量的增加，传统的单一数据库模式逐渐显得力不从心，因此，数据库拆分成为解决数据管理问题的重要手段之一。在本文中，我们深入探讨了数据库垂直与水平拆分的原则，以解决不断增长的业务需求对数据库性能和扩展性的挑战。
20250218 隨筆 垂直分库分表（Vertical Sharding） 和 水平分库分表（Horizontal Sharding）
一條狗的博客
02-18 1045
它们在大规模数据库优化、分布式架构设计中至关重要，主要用于。不同的业务数据存储在不同的数据库中，每个数据库只处理自己相关的业务，提高效率。如果你有具体的业务场景，可以告诉我，我可以给你更详细的架构设计建议！：不同业务拆分到不同数据库，查询、写入性能提升。：数据分布在多个数据库或表，查询、写入速度更快。等功能，如果所有数据都存放在一个数据库。各个数据库可以独立扩展，互不影响。避免单表数据过大，提高查询速度。：可以继续增加数据库或表，支持。查询，需要在应用层处理。，适用于大规模系统架构。：需要分布式事务，如。
分库分表的垂直切分与水平切分看这篇就够了
01-07 3131
分库分表：在一些数据库大的项目中，随着时间的推移和业务量的增加，数据库里的表中数据就会越来越多，如果单单还使用上面的模式，显然是不够用的。这时候就想到了把一个库里的数据分散到多个库里，并且把存在一个表里的数据分散到多个表里。**分库分表的方式有垂直切分，水平切分**
垂直拆分、水平拆分、分库分表策略、主从复制、读写分离
qq_36929638的博客
08-30 4124
垂直拆分就是要把表按功能模块划分到不同数据库中，如果你的系统是分布式微服务的架构，那就更好理解了，一般一个微服务对应这一个或多个数据库。比如电商系统一般都会有用户中心、订单、商品等等。用户中心数据库存的都是用户信息相关的，商品数据库存的都是商品相关的数据，订单数据库则是存的订单相关的。...
垂直分库和水平分库
weixin_34150830的博客
01-07 662
常见的分库方式有水平性和垂直性。一般来说，就是按照用户属性（地市或者ID的hash）进行分库，或者按照业务功能块进行分库。水平分库方式：主要根据用户属性（如地市）拆分物理数据库。一种常见的方式是将全省划分为个大区。垂直分库方式：根据业务维度和数据的访问量等，进行数据的分离，剥离为多个数据库。例如，将一些公用的配置信息存储到一个数据库中进行单独维护。...
mysql 垂直拆分与水平拆分的优缺点详解
八点半技术站
10-24 5364
垂直拆分： 垂直拆分是根据数据库里面的数据表的相关性进行拆分，比如：一个数据库里面既存在用户数据，又存在订单数据，那么垂直拆分可以把用户数据放入到用户库，把订单数据放到订单库。垂直分表是对数据表进行垂直拆分的一种方式，常见是把一个多字段的大表按常用字段和非常用字段进行拆分，每个表里面的数据记录数一般情况下是相同的，只是字段不一样，使用主键关联。 比如原始用户表是： 垂直拆...
数据库优化理论——大表的优化方式、垂直分表、垂直分库、水平分表、水平分库、主从复制等
qq_44182424的博客
06-21 1083
MySQL复制：为保证主服务器和从服务器的数据一致性，在向主服务器插入数据后，从服务器会自动将 主服务器中修改的数据同步过来。I/O线程：负责从主服务器上读取二进制日志（Binary log），并写入从服务器的中继日志（Relay log）中。SQL线程：负责读取中继日志，解析出主服务器中已经执行的数据更改并在从服务器中重放 复制过程如下。主从复制的原理： 主从复制主要有三个线程：binlog线程，I/O线程，SQL线程。
mysql 分库分表方法、技巧和应用场景
09-04
详细阐述了水平拆分、垂直拆分和混合拆分的原理与优缺点，重点分析了分片键选择、分布式ID生成、跨库查询优化和分布式事务处理等关键技术点，并结合电商秒杀、日志系统、SaaS平台和全球化业务等实际场景给出解决方案...
Springboot整合ShardingSphere实现分库分表，垂直拆分、水平拆分、公共表的处理
chaojiyingxiong的博客
03-27 5349
ShardingSphere实现分库分表、水平拆分、垂直拆分、公共部分
分库分表的介绍及常见实现方法，ShardingSphere实现分库分表示例
分享学习
06-18 1750
分库分表是一种常见的数据库架构优化手段，主要用于解决单一数据库或单一表的数据量过大、并发读写过高的问题。
分库分表优点缺点
abckingaa的博客
02-18 4031
分库分表公优点缺点 挑战 虽然数据分片解决了性能、可用性以及单点备份恢复等问题，但分布式的架构在获得了收益的同时，也引入了新的问题。 面对如此散乱的分片之后的数据，应用开发工程师和数据库管理员对数据库的操作变得异常繁重就是其中的重要挑战之一。 他们需要知道数据需要从哪个具体的数据库的子表中获取。 另一个挑战则是，能够正确的运行在单节点数据库中的 SQL，在分片之后的数据库中并不一定能够正确运行。 例如，分表导致表名称的修改，或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要
数据切分 垂直切分、垂直拆分与水平拆分的优缺点
Leon_Jinhai_Sun的博客
01-13 2250
数据切分 垂直切分 关于数据库的水平切分和垂直切分的一些概念 　垂直拆分 　　垂直拆分就是要把表按模块划分到不同数据库表中（当然原则还是不破坏第三范式），这种拆分在大型网站的演变过程中是很常见的。当一个网站还在很小的时候，只有小量的人来开发和维护，各模块和表都在一起，当网站不断丰富和壮大的时候，也会变成多个子系统来支撑，这时就有按模块和功能把表划分出来的需求。其实，相对于垂直切分更进一步的是服...
mysql 水平分表_mysql 的垂直分表和水平分表
weixin_28693309的博客
01-18 314
1，水平分表： 一条记录一条记录切断分出来！2, 垂直分表： 把常用的 ，不常用的，字段很长的拆出来！目前很多互联网系统都存在单表数据量过大的问题，这就降低了查询速度，影响了客户体验。为了提高查询速度，我们可以优化sql语句，优化表结构和索引，不过度那些百万级，千万级的数据库表，即便优化过后，查询速度还是满足不了要求。这时候我们就可以通过分表降低单次查询数据量，从而提高查询速度，一般分表的方式有2...
分表分库的优缺点
weixin_30855099的博客
07-08 708
优点: 1.拆分后单表数据量比较小,单表大数据被拆分,解决了单表大数据访问问题 缺点: 1.分表以什么切分如果弄的不好,导致多次查询,而且有时候要跨库操作,甚至导致join无法使用,对排序分组等有性能影响 2.之前的原子操作被拆分成多个操作,事务处理变得复杂 3.多个DB维护成本增加 转载于:https://www.cnblogs.com/bobofei/p/11149458.html...
MySQL垂直切分和水平切分概念和优缺点介绍
csd753111111的博客
03-14 597
数据的切分（Sharding）根据其切分规则的类型，可以分为两种切分模式。一种是按照不同的表（或者Schema）来切分到不同的数据库（主机）之上，这种切可以称之为数据的垂直（纵向）切分；另外一种则是根据表中的数据的逻辑关系，将同...
数据库优化 -水平分库与垂直分库
weixin_43421142的博客
11-01 1259
数据库优化 -水平拆分与垂直拆分 垂直拆分 垂直拆分是根据数据库里面的数据表的相关性进行拆分。 例：一个数据库里面存放着用户数据（用户表），又存储订单数据（订单表），那么使用垂直分库可以把用户数据放到用户库、把订单数据放到订单库。垂直分表是对数据表进行垂直拆分的一种方式，常用于把一个多字段的大表按常用字段和非常用字段进行拆分，每个表里面的数据记录数一般情况下是相同的，只是字段不一样，使用主键关联 例子 User表 垂直拆分 User表 Class表 垂直拆分的优点是： （1）可以使得行数据变小，一个数
水平分表、库，垂直分表、库示例
沐怡旸的专栏
08-27 419
水平分表、垂直分表示例图 数据库水平拆库、垂直拆库示例图：
MySql 分库分表：垂直分表、垂直分库、水平分表、水平分库
书香水墨
12-15 3276
读写分离解决的是数据库读写操作的压力，但是没有分散数据库的存储压力，利用分库分表可以解决数据库的储存瓶颈，并提升数据库的查询效率。 12.1、垂直拆分： （1）垂直分表：将一个表按照字段分成多个表，每个表存储其中一部分字段。一般会将常用的字段放到一个表中，将不常用的字段放到另一个表中。 优点： （1）避免IO竞争减少锁表的概率。因为大的字段效率更低，第一，大字段占用的空间更大，单页内存储的行数变少，会使得IO操作增多；第二数据量大，需要的读取时间长。 （2）可以更好地提升热门数据的查询效率。 （2）
数据库垂直分库，水平分库，垂直分表，水平分表
DGH2430284817的博客
08-17 384
场景： 假设有个高中学生查询系统，里面可以查询所有高中学生信息，高中学校信息，学校地理信息。 那么这样一个系统至少会有下面几个表 学生信息表：记录学生信息 班级信息表：记录班级信息 学校信息表：记录学校信息 学校地理信息表：记录学校位置，所在地域信息 垂直分库： 每年学生都会增加将近1000万，很明显数据库数据量会大量增加，查询效率降低，可以按省份去垂直分库，每个省份都拥有上述所有表信息，...
垂直分表和水平分表，垂直分库和水平分库
最新发布
09-24
在数据库设计与优化中，**垂直分表、水平分表、垂直分库、水平分库**是常见的数据拆分策略，用于解决单表/单库数据量过大、性能瓶颈、I/O压力等问题。下面我将详细解释这四种方式，并提供示例和代码说明（以MySQL为例），最后提出相关问题。 --- ### 一、垂直分表（Vertical Partitioning） #### ✅ 定义： 将一个宽表按照“列”进行拆分，把不常用的或大字段（如 `text`、`blob`）分离到另一张表中，主表保留高频访问的字段。 #### ✅ 目的： - 减少 I/O 开销 - 提高查询效率（尤其是只查核心字段时） - 分离冷热数据 #### ✅ 示例： 原始表 `user`： ```sql CREATE TABLE user ( id INT PRIMARY KEY, name VARCHAR(50), email VARCHAR(100), phone VARCHAR(20), profile TEXT, -- 大文本字段 avatar BLOB, -- 图片二进制 created_at DATETIME ); ``` 拆分为两个表： ```sql -- 核心信息表（高频访问） CREATE TABLE user_core ( id INT PRIMARY KEY, name VARCHAR(50), email VARCHAR(100), phone VARCHAR(20), created_at DATETIME ); -- 扩展信息表（低频访问） CREATE TABLE user_ext ( user_id INT PRIMARY KEY, profile TEXT, avatar BLOB, FOREIGN KEY (user_id) REFERENCES user_core(id) ); ``` #### ✅ 查询示例： ```sql -- 只查基本信息（快） SELECT name, email FROM user_core WHERE id = 1; -- 查完整信息（需 JOIN） SELECT uc.name, uc.email, ue.profile FROM user_core uc LEFT JOIN user_ext ue ON uc.id = ue.user_id WHERE uc.id = 1; ``` > ⚠️ 缺点：需要 `JOIN`，复杂度增加。 --- ### 二、水平分表（Horizontal Partitioning / Sharding by Row） #### ✅ 定义： 按“行”拆分，将数据根据某种规则（如 ID 取模、时间范围等）分散到多个结构相同的表中。 #### ✅ 目的： - 解决单表数据量过大导致的性能下降 - 改善查询和写入速度 #### ✅ 示例： 原始表： ```sql CREATE TABLE order_0 ( id BIGINT PRIMARY KEY, user_id INT, amount DECIMAL(10,2), create_time DATETIME ); ``` 拆分为多张表（按 user_id 取模）： ```sql CREATE TABLE order_0 (like order_template); CREATE TABLE order_1 (like order_template); CREATE TABLE order_2 (like order_template); -- ... 共 N 张表 ``` #### ✅ 插入路由逻辑（Python 示例）： ```python import hashlib def get_table_index(user_id, shard_count=3): return user_id % shard_count def insert_order(user_id, amount): table_idx = get_table_index(user_id) sql = f""" INSERT INTO order_{table_idx} (user_id, amount, create_time) VALUES ({user_id}, {amount}, NOW()) """ # execute(sql) print(sql) # 示例调用 insert_order(1001, 99.5) # 路由到 order_1 insert_order(1002, 88.0) # 路由到 order_2 ``` > 🔍 注意：应用层需维护路由逻辑，或使用中间件（如 MyCat、ShardingSphere）。 --- ### 三、垂直分库（Vertical Database Splitting） #### ✅ 定义： 按业务模块将不同的表分配到不同的数据库中。 #### ✅ 目的： - 隔离业务，降低耦合 - 减轻单库压力 - 提升安全性与可维护性 #### ✅ 示例： 原本所有表在一个库 `db_all` 中： - user 表 - order 表 - product 表 - payment 表 拆分为： - `db_user`: 存放用户相关表 - `db_order`: 存放订单相关表 - `db_product`: 存放商品相关表 - `db_payment`: 存放支付相关表 #### ✅ 连接配置示例（Python + SQLAlchemy）： ```python from sqlalchemy import create_engine engines = { 'user': create_engine('mysql+pymysql://user:pass@localhost/db_user'), 'order': create_engine('mysql+pymysql://user:pass@localhost/db_order'), 'product': create_engine('mysql+pymysql://user:pass@localhost/db_product'), } # 使用 conn = engines['user'].connect() result = conn.execute("SELECT * FROM user_core WHERE id = 1") ``` > ⚠️ 跨库关联困难，通常避免跨库 JOIN。 --- ### 四、水平分库（Horizontal Database Sharding） #### ✅ 定义： 将同一张表的数据按某种规则（如用户 ID、地理位置）分布到多个数据库实例中。 #### ✅ 目的： - 极大提升系统扩展能力 - 实现分布式架构 - 支持海量数据存储与高并发 #### ✅ 示例： 有 4 个数据库实例：`shard_0`, `shard_1`, `shard_2`, `shard_3` 对 `user` 表进行水平分库，按 `user_id % 4` 路由。 ```python def get_shard_engine(user_id): shard_id = user_id % 4 connection_strings = [ 'mysql+pymysql://u:p@host1/shard_0', 'mysql+pymysql://u:p@host2/shard_1', 'mysql+pymysql://u:p@host3/shard_2', 'mysql+pymysql://u:p@host4/shard_3', ] engine = create_engine(connection_strings[shard_id]) return engine # 插入用户数据 def insert_user(user_id, name): engine = get_shard_engine(user_id) with engine.connect() as conn: conn.execute( "INSERT INTO user (id, name) VALUES (%s, %s)", (user_id, name) ) ``` > 🌐 水平分库常配合水平分表一起使用（称为“分片”），构成完整的分库分表方案。 --- ### 各种分法对比总结： | 类型 | 拆分维度 | 典型场景 | 优点 | 缺点 | |------|----------|---------|------|------| | 垂直分表 | 列（字段） | 宽表拆解 | 减少 I/O，提升查询效率 | 需要 JOIN，开发复杂 | | 水平分表 | 行（数据记录） | 单表过大 | 分散负载，提高性能 | 跨表查询难，需路由 | | 垂直分库 | 业务模块 | 微服务拆分 | 业务隔离，易于维护 | 跨库事务难处理 | | 水平分库 | 数据行 + 多库 | 海量数据、高并发 | 极致扩展性 | 架构复杂，运维成本高 | --- ### 推荐工具与框架： - **Apache ShardingSphere**（支持分库分表透明化） - **MyCat**（数据库中间件） - **Vitess**（MySQL 的 Kubernetes 级别分片系统） - **TiDB**（兼容 MySQL 协议的分布式数据库，自动分片） --- ### 注意事项： 1. **全局唯一 ID**：分表后自增主键冲突 → 使用 Snowflake、UUID、Redis ID 生成器。 2. **跨分片查询**：尽量避免；可用搜索引擎（ES）做聚合查询。 3. **事务一致性**：跨库事务需用分布式事务（如 Seata、XA、TCC）。 4. **扩容问题**：取模分片扩容麻烦 → 改用一致性哈希或范围分片。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值