mysql的水平分表和垂直分表的区别

1,水平分割:

例:QQ的登录表。假设QQ的用户有100亿,如果只有一张表,每个用户登录的时候数据库都要从这100亿中查找,会很慢很慢。如果将这一张表分成100份,每张表有1亿条,就小了很多,比如qq0,qq1,qq1…qq99表。

用户登录的时候,可以将用户的id%100,那么会得到0-99的数,查询表的时候,将表名qq跟取模的数连接起来,就构建了表名。比如123456789用户,取模的89,那么就到qq89表查询,查询的时间将会大大缩短。

这就是水平分割。

2,垂直分割:

垂直分割指的是:表的记录并不多,但是字段却很长,表占用空间很大,检索表的时候需要执行大量的IO,严重降低了性能。这时需要把大的字段拆分到另一个表,并且该表与原表是一对一的关系。

例如学生答题表tt:有如下字段:

Id name 分数 题目 回答

其中题目和回答是比较大的字段,id name 分数比较小。

如果我们只想查询id为8的学生的分数:select 分数 from tt where id = 8;虽然知识查询分数,但是题目和回答这两个大字段也是要被扫描的,很消耗性能。但是我们只关心分数,并不想查询题目和回答。这就可以使用垂直分割。我们可以把题目单独放到一张表中,通过id与tt表建立一对一的关系,同样将回答单独放到一张表中。这样我们插叙tt中的分数的时候就不会扫描题目和回答了。

3,其他要点:

1)存放图片、文件等大文件用文件系统存储。数据库只存储路径,图片和文件存放在文件系统,甚至单独存放在一台服务器(图床)。

2)数据参数配置。

最重要的参数就是内存,我们主要用的innodb引擎,所以下面两个参数调的很大:

innodb_additional_mem_pool_size=64M

innodb_buffer_pool_size=1G

对于MyISAM,需要调整key_buffer_size,当然调整参数还是要看状态,用show status语句可以看到当前状态,以决定该调整哪些参数。

4,合理的硬件资源和操作系统

如果机器的内存超过4G,那么应当采用64位操作系统和64位MySQL。

案例:

简单购物系统暂设涉及如下表:

1.产品表(数据量10w,稳定)

2.订单表(数据量200w,且有增长趋势)

3.用户表 (数据量100w,且有增长趋势)

以mysql为例讲述下水平拆分和垂直拆分,mysql能容忍的数量级在百万静态数据可以到千万

垂直拆分:

解决问题:

表与表之间的io竞争

不解决问题:

单表中数据量增长出现的压力

方案:

把产品表和用户表放到一个server上

订单表单独放到一个server上

水平拆分:

解决问题:

单表中数据量增长出现的压力

不解决问题:

表与表之间的io争夺

方案:

用户表通过性别拆分为男用户表和女用户表

订单表通过已完成和完成中拆分为已完成订单和未完成订单

产品表 未完成订单放一个server上

已完成订单表盒男用户表放一个server上

女用户表放一个server上

### MySQL 数据库中表的水平分表垂直分表方法及其应用场景 #### 水平分表 (Sharding) 水平分表是指将同一张表的数据按照一定的规则拆分成多份,每一份数据存储在一个独立的子表中。这种方式适用于当单个表的数据量非常庞大时。 - **实现方式** - 使用哈希算法或范围分区来决定哪些记录应该存放在哪个子表内。 - 可以通过特定字段(如用户ID)作为键来进行散列计算,从而分配至不同表格。 ```sql CREATE TABLE orders_shard_0 ( order_id INT NOT NULL, user_id INT NOT NULL, product_name VARCHAR(255), PRIMARY KEY(order_id) ); CREATE TABLE orders_shard_1 LIKE orders_shard_0; ``` - **优点** - 减少了单一表内的数据总量,提高了查询效率[^4]。 - 支持更大的并发读写操作,因为各个分片可以分布在不同的机器上运行。 - **缺点** - 跨分片的操作变得复杂,特别是涉及到跨分片连接查询的情况。 - 维护成本增加,包括备份恢复、迁移等方面的工作难度加大。 - **适用场景** - 当某类实体的数量极其巨大,并且存在明显的地域分布或其他可利用特征用于切分时适合采用此策略。 #### 垂直分表 (Vertical Partitioning) 垂直分表则是指对于某些具有大量字段的大宽表而言,将其划分为若干个小窄表的过程。这通常是为了优化频繁使用的少量核心字段与其他较少访问的辅助属性之间的关系而设计的一种模式。 - **实现方式** - 将原表中最常被一起检索出来的几个重要字段保留下来形成基础表; - 把其他不太常用或者占用空间较大(例如BLOB类型)的字段单独提取出来创建新的关联表。 ```sql -- 主要信息保存在基本信息表里 CREATE TABLE customer_basic_info( id BIGINT AUTO_INCREMENT, name VARCHAR(64), age TINYINT UNSIGNED, gender ENUM('male', 'female'), PRIMARY KEY(id) ); -- 较少使用的额外资料则放置于扩展表之中 CREATE TABLE customer_extra_details( cust_id BIGINT, address TEXT, profile_pic MEDIUMBLOB, -- 大型二进制对象 FOREIGN KEY(cust_id) REFERENCES customer_basic_info(id) ); ``` - **优点** - 提升了对热点数据项的快速定位能力,减少了不必要的I/O开销[^3]。 - 对于那些包含有大尺寸文本或多媒体内容的应用来说尤其有效果显著。 - **缺点** - 如果处理不当可能会导致过多的小规模JOIN操作影响整体性能表现。 - 设计初期需要充分考虑未来可能的变化趋势以免后期调整困难。 - **适用场景** - 表结构中含有许多低频率使用却占据较多磁盘空间的列时推荐实施该方案。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值