mysql分表,分区的区别和联系

一,什么是mysql分表,分区

什么是分表,从表面意思上看呢,就是把一张表分成N多个小表
什么是分区,分区呢就是把一张表的数据分成N多个区块,这些区块可以在同一个磁盘上,也可以在不同的磁盘上,具体请参考mysql分区功能详细介绍,以及实例

二,mysql分表和分区有什么区别呢

1,实现方式上
a),mysql的分表是真正的分表,一张表分成很多表后,每一个小表都是完正的一张表,都对应三个文件,一个.MYD数据文件,.MYI索引文件,.frm表结构文件。

[root@BlackGhost test]# ls |grep user  
alluser.MRG  
alluser.frm  
user1.MYD  
user1.MYI  
user1.frm  
user2.MYD  
user2.MYI  
user2.frm 

简单说明一下,上面的分表呢是利用了merge存储引擎(分表的一种),alluser是总表,下面有二个分表,user1,user2。他们二个都是独 立的表,取数据的时候,我们可以通过总表来取。这里总表是没有.MYD,.MYI这二个文件的,也就是说,总表他不是一张表,没有数据,数据都放在分表里 面。我们来看看.MRG到底是什么东西

[root@BlackGhost test]# cat alluser.MRG |more  
user1  
user2  
#INSERT_METHOD=LAST  

从上面我们可以看出,alluser.MRG里面就存了一些分表的关系,以及插入数据的方式。可以把总表理解成一个外壳,或者是联接池。
b),分区不一样,一张大表进行分区后,他还是一张表,不会变成二张表,但是他存放数据的区块变多了。

[root@BlackGhost test]# ls |grep aa  
aa#P#p1.MYD  
aa#P#p1.MYI  
aa#P#p3.MYD  
aa#P#p3.MYI  
aa.frm  
aa.par

从上面我们可以看出,aa这张表,分为二个区,p1和p3,本来是三个区,被我删了一个区。我们都知道一张表对应三个文件.MYD,.MYI,.frm。分区呢根据一定的规则把数据文件和索引文件进行了分割,还多出了一个.par文件,打开.par文件后你可以看出他记录了,这张表的分区信息,根分表中的.MRG有点像。分区后,还是一张,而不是多张表。

2,数据处理上
a),分表后,数据都是存放在分表里,总表只是一个外壳,存取数据发生在一个一个的分表里面。看下面的例子:
select * from alluser where id='12'表面上看,是对表alluser进行操作的,其实不是的。是对alluser里面的分表进行了操作。
b),分区呢,不存在分表的概念,分区只不过把存放数据的文件分成了许多小块,分区后的表呢,还是一张表。数据处理还是由自己来完成。

3,提高性能上
a)分表后,单表的并发能力提高了,磁盘I/O性能也提高了。并发能力为什么提高了呢,因为查寻一次所花的时间变短了,如果出现高并发的话,总表可以根据不同的查询,将并发压力分到不同的小表里面。磁盘I/O性能怎么搞高了呢,本来一个非常大的.MYD文件现在也分摊到各个小表的.MYD中去了。
b)mysql提出了分区的概念,我觉得就想突破磁盘I/O瓶颈,想提高磁盘的读写能力,来增加mysql性能。eg:百万行的表划分为10个分区,每个分区就包含十万行数据,那么查询分区需要的时间仅仅是全表扫描的十分之一了,很明显的对比。同 时对十万行的表建立索引的速度也会比百万行的快得多得多。如果你能把这些分区建立在不同的磁盘上,这时候的I/O读写速度就“不堪设想”了(没用错词,真的 太快了,理论上100倍的速度提升啊,这是多么快的响应速度啊,所以有点不堪设想了)
在这一点上,分区和分表的测重点不同,分表重点是存取数据时,如何提高mysql并发能力上;而分区呢,如何突破磁盘的读写能力,从而达到提高mysql性能的目的。

4),实现的难易度上
a),分表的方法有很多,用merge来分表,是最简单的一种方式。这种方式根分区难易度差不多,并且对程序代码来说可以做到透明的。如果是用其他分表方式就比分区麻烦了。
b),分区实现是比较简单的,建立分区表,根建平常的表没什么区别,并且对开代码端来说是透明的。

三,mysql分表和分区有什么联系呢
1,都能提高mysql的性高,在高并发状态下都有一个良好的表面。
2,分表和分区不矛盾,可以相互配合的,对于那些大访问量,并且表数据比较多的表,我们可以采取分表和分区结合的方式(如果merge这种分表方式,不能和分区配合的话,可以用其他的分表试),访问量不大,但是表数据很多的表,我们可以采取分区的方式等。

 

 

MySQL 中的 **分区(Partitioning)** **分表(Sharding / Splitting)** 都是用于处理大数据量的优化策略,但它们在实现方式、使用场景管理复杂度上有显著区别。 --- ### 一、定义与核心区别 | 特性 | 分区(Partitioning) | 分表(Splitting / Sharding) | |------|----------------------|------------------------------| | **定义** | 将一张逻辑表在物理上拆分为多个部分,但对外仍表现为一张表 | 将一张逻辑表的数据拆分成多个独立的表,每张表结构相同或不同 | | **存储位置** | 同一数据库实例内 | 可在相同或不同数据库、服务器上 | | **SQL 透明性** | 对应用透明,无需修改 SQL | 需要应用层或中间件支持路由 | | **维护复杂度** | 简单,统一管理 | 复杂,需管理多个表或数据库 | | **事务支持** | 支持本地事务 | 跨表事务复杂,需分布式事务支持 | --- ### 二、实现方式 #### 1. **MySQL 分区** MySQL 支持的分区类型包括:`RANGE`、`LIST`、`HASH`、`KEY`、`COLUMNS` 等。 - 数据在同一个数据库中,只是物理存储被拆分。 - 查询优化器可以只访问相关的分区,提高效率。 #### 2. **分表** 分表包括 **垂直分表** **水平分表**: - **垂直分表**:将一个表的不同列拆分到不同的表中。 - **水平分表**:将同一张表的数据按某种规则(如用户ID取模)拆分到多个表中。 **示例:** ```sql CREATE TABLE users_0 (...); CREATE TABLE users_1 (...); CREATE TABLE users_2 (...); ``` --- ### 三、优缺点对比 | 方面 | 分区 | 分表 | |------|------|------| | **性能提升** | 查询可只扫描部分数据,适合读密集 | 可显著降低单表压力,适合写密集 | | **扩展性** | 有限,受限于单机性能 | 高,可通过多数据库扩展 | | **部署复杂度** | 低,MySQL 内置支持 | 高,可能需要中间件(如 MyCat、ShardingSphere) | | **数据维护** | 简单 | 复杂,如备份、迁移、查询需跨表处理 | | **事务支持** | 支持本地事务 | 跨表事务需分布式事务(如 XA) | --- ### 四、适用场景 | 场景 | 推荐方案 | |------|----------| | 单表数据量在千万级别以内 | 分区 | | 单表数据量超过亿级,写压力大 | 分表 | | 数据按时间归档、冷热分离 | 分区 | | 多租户系统、分布式系统 | 分表 | | 需要跨多个物理节点扩展 | 分表 | --- ### 五、总结 - **分区** 是 MySQL 内置的物理拆分方式,适合在单机环境下提升查询性能。 - **分表** 是逻辑拆分,适合大规模数据高并发场景,但需要应用层或中间件配合。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值