mysql 分表分区小记（一）

最新推荐文章于 2025-09-06 22:56:13 发布
最新推荐文章于 2025-09-06 22:56:13 发布
阅读量107 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： mysql 文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xjl8888/article/details/88346956

分表

第一种 是做mysql集群利用mysql cluster ，mysql proxy，mysql replication，drdb等等

第二种 是把访问频繁的且数据量大的表拆成若干小表

第三种  是利用mysql merge存储引擎分表

 

分区

 第一种  RANGE分区：基于属于一个给定连续区间的列值，把多行分配给分区。 
 第二种  LIST分区：类似于按RANGE分区，区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择。 
 第三种  HASH分区：基于用户定义的表达式的返回值来进行选择的分区，该表达式使用将要插入到表中的这些行的列值进行计算。这个函数可以包含MySQL 中有效的、产生非负整数值的任何表达式。
 第四种  KEY分区：类似于按HASH分区，区别在于KEY分区只支持计算一列或多列，且MySQL 服务器提供其自身的哈希函数。必须有一列或多列包含整数值。 

分表的好处 是提高单表的并发能力当然IO磁盘能力也有所提高

分区的好处 是提供IO磁盘的读写能力

 

一般访问频繁且数据量大的采用分表

访问一般 数据量大的采取分区

mysql 存储过程 控制台_mysql 存储过程 调试
weixin_30025115的博客
01-27 662
mysql存储过程之游标遍历数据表原文:mysql存储过程之游标遍历数据表今天写一个mysql存储过程，根据自己的需求要遍历一个数据表，因为对存储过程用的不多，语法不甚熟悉，加之存储过程没有调试环境，花了不少时间才慢慢弄好，故留个痕迹。1 BEGIN2 DECLARE Done INT DEFAULT 0;...文章杰克.陈2016-09-08755浏览量源代码的编译和调试InnoDB...
MySQL分表和分区最佳攻略word
08-03
MySQL分表和分区最佳攻略 word版本，
mysql 分表分区小记(二)
06-07 118
.把数据根据主键范围塞入分表中 INSERT INTO systemlog1(systemlog1.SLID,systemlog1.CODE,systemlog1.AID,systemlog1.ADID,systemlog1.CTime,systemlog1.NIP,systemlog1.CityName,systemlog1.UserName) SELECT systemlog.SLID,systemlog.CODE,systemlog.AID,systemlog.ADID,systemlog.CTim
《MySQL——分区表小记》
hanhan的博客
04-09 238
分区表的组织形式 以年份为分割方式，对表进行分割： CREATE TABLE `t` ( `ftime` datetime NOT NULL, `c` int(11) DEFAULT NULL, KEY (`ftime`) ) ENGINE=InnoDB DEFAULT CHARSET=latin1 PARTITION BY RANGE (YEAR(ftime)) (PARTITION p_2017 VALUES LESS THAN (2017) ENGINE = InnoDB, PARTIT
面经-mysql
weixin_46163707的博客
08-18 526
Mysql使用的是什么索引？为什么？从MysQL的角度讲，数据库数据都是存放在磁盘中的，读取数据库数据就是要去磁盘中读取(为什么不全部存放在内存中？查找都是索引操作，一般来说索引非常大，尤其是关系型数据库，当数据量比较大的时候，索引的大小有可能几个G甚至更多，为了减少索引在内存的占用，数据库索引是存储在外部磁盘上的。当我们利用索引查询的时候，不可能把整个索引全部加载到内存，只能逐一加载，那么MysQL衡量查询效率的标准就是磁盘l0次数)，不得不考虑一个现实问题就是磁盘IO。...
SQL编写小记
weixin_34015336的博客
02-16 89
下面的做法大多对应与一般的情况，关于灵活性与安全性的一些做法，特殊的情况特殊处理总是有他的好处。关于SQL注入方面的内容之前已经写过一片博文了，在此不再提及 多使用交叉表（实体-关系） 经常会碰到一对多，多对多这样的逻辑关系的关系型数据库设计，特别是更多的时候是对应的数量不确定，会随着时间的推移而发生变化（比如就是说商品A有4个属性，商品...
每日小记之面试宝典（面试题）
Joyces.iboc
07-22 270
Git的分支你们是怎么管理的？ 详解：Git 分支管理常见三种方式； ① TBD（Trunk-based development、单主干） 所有团队成员都在单个主干分支上进行开发。 发布时，先考虑使用标签 Tag， 如果打标签不能满足要求，则从主干创建发布分支。 Bug在主干上修复，然后挑选时机发布到 发布分支上 ② GitHub flow GitHub使用的一种简单流程，使用两类分支，Master、代码修改分支，主要对应GitHub的pull、reque...
DataSkew —— 数据倾斜问题解析及解决方案实践总结小记
qq_41018861的博客
06-05 3098
文章目录什么是数据倾斜数据倾斜的现象Hadoop中的数据倾斜Spark中的数据倾斜Hive中的数据倾斜数据倾斜产生的原因Hive数仓为何会出现DateSkewSpark为何会出现DateSkew数据倾斜的原因：数据分区的策略：定位数据倾斜问题查看数据倾斜的key的分布情况：数据倾斜产生的原理产生数据倾斜的操作不同情形倾斜数据处理方案Hql和SparkSql中处理Join小表join大表大表join大表skewjoin数据类型不匹配关联主键含有大量空key关联主键中少部分key的数据量巨大Join驱动表选取和
7102-2019年技术文全套整理 | 建议收藏
朱小厮的博客
08-04 1389
很多小伙伴在后台留言要找某某文章，所以这个周末花了2个多小时整理了下公众号自开启以来的大部分推文，有需要的同学可以先操作（点赞、转发、收藏）一波。Kafka系列为了追求极...
nosql（非关系型数据库）
iwanttoseee的博客
03-10 1538
一、相关文档 nosql百科：https://baike.baidu.com/item/NoSQL/8828247?fr=aladdin nosql发展历史（从mysql说起）：https://www.cnblogs.com/lukelook/p/11135209.html 二、学习笔记 nosql（not only sql），泛指非关系型数据库。（因为nosql仅仅是一个概念，nosql下面具体的技术有很多种不同，下一条有说） NoSQL最常见的解释是“non-relational”， “Not Only
MySQL分表和分区的具体实现方法
09-09
MySQL数据库在处理大数据量时，可能会遇到性能瓶颈，这时就需要采取一些优化策略，其中分表和分区是常见的解决方案。本文将详细介绍这两种技术及其在MySQL中的具体实现。 **垂直分表**是将一个宽表（包含大量列）...
mysql分表和分区的区别浅析
09-10
MySQL中的分表和分区是两种不同的数据库优化策略，它们都在一定程度上解决了大数据量下的查询效率问题，但原理和实现方式有所不同。 **一、分表** 分表，顾名思义，是将一张大表分解为多张小表，每个小表都是独立...
MySQL分表和分区最佳攻略
10-12
常开发中我们经常会遇到大表的情况，所谓的大表是指存储了百万级乃至千万级条记录的表。这样的表过于庞大，导致...分表和表分区的目的就是减少数据库的负担，提高数据库的效率，通常点来讲就是提高表的增删改查效率。
基于SpringBoot和uni-app开发的陪诊陪护软件系统源码
程序员创业中
09-06 783
中国60岁以上人口已突破3.1亿，独居老人超1.3亿，而一线城市三甲医院日均门诊量超万人次。在这组数据背后，是无数家庭面临的困境：子女异地工作无法陪同父母就医，独居老人因不会操作智能设备在挂号机前徘徊，异地患者因不熟悉流程在医院迷路……当“就医”从个人事务演变为社会难题，陪诊陪护系统正以“专业服务+技术赋能”的双重模式，成为破解这一困局的关键。
【开题答辩全过程】以 基于SSM的电竞设备商城设计与开发为例，包含答辩的问题和答案
shiji7553的博客
09-03 677
这是一篇关于计算机专业毕业设计答辩的摘要。文中介绍了一位14年经验的资深毕设内行人，擅长Java、PHP、微信小程序、Python、Golang、安卓Android等多种开发语言，项目涉及大数据、深度学习、网站、小程序、安卓系统、算法等。该内行人还提供项目定制开发、代码讲解、答辩教学、文档编写、降重技巧等服务。 在答辩过程中，学生详细介绍了其基于SSM框架开发的电竞设备商城系统，包括用户角色划分、功能模块设计、技术选型依据（Java/SSM/HTML/CSS/MySQL/B-S架构）以及安全措施（MD5加盐
Date、BigDecimal类型值转换
最新发布
2301_81922209的博客
09-06 210
本文展示了前后端数据交互中日期和数值类型的转换处理。前端输入JSON数据包含日期字符串(yyyy-MM-dd和yyyy/MM/dd格式)和数值，后端通过@JsonFormat注解自动转换为Date类型，BigDecimal类型则用于精确计算。数据库中存储datetime和decimal类型数据。后端处理时，使用工具类对价格和利率进行格式化：价格保留两位小数(四舍五入)，利率转换为百分比格式。最终响应数据将日期转为时间戳或格式化字符串，数值转为格式化字符串，并转换支付方式编码为描述文本。完整流程涵盖数据接收、
怎么快速构建一个deep search模型呢
qq_57565004的博客
09-05 698
本文提出了一种快速构建具备深度信息检索能力的智能体系统（DeepSearch）的方法。该方法采用分阶段开发策略：首先基于RAG架构搭建基础检索链路，再通过LangChain框架整合大语言模型和搜索引擎API，赋予系统自主规划与迭代搜索能力，最终实现多源信息整合和结构化报告生成。技术选型上强调利用开源工具（如LangChain、ChromaDB）和预训练模型，通过"思考-检索-整合-迭代"的智能体工作流，高效构建可验证原型的核心功能。
Java-面试八股文-Mysql篇
2302_81048526的博客
08-29 2265
隔离级别脏读不可重复读幻读性能读未提交(RU)✅✅✅高读已提交(RC)❌✅✅较高可重复读(RR)❌❌✅(InnoDB 可避免)中串行化❌❌❌低特性悲观锁乐观锁思想假设一定会冲突假设大部分不会冲突实现for update、数据库排他锁、Java同步锁版本号 / 时间戳机制并发性能低高适用场景写多、冲突频繁读多写少、冲突少函数运算要避免，隐式转换要小心不等、OR、前模糊，索引基本挂掉联合索引最左前缀，范围之后不再用区分度低索引没用，优化器说了算对比项。
MYSQL怎么分表分区
03-25
<think>好的，我现在需要帮助用户了解如何在MySQL中实现分表和分区。首先，我应该回顾一下用户提供的引用内容，确保准确理解分表和分区的区别以及各自的方法。 根据引用[1]，分表是为了解决大数据量导致的性能问题，而引用[3]提到分区是将一张表的数据分成多个区块。接下来，引用[2]详细说明了分区的类型，比如范围分区、列表分区等。用户需要具体的方法和教程，所以我的回答需要步骤清晰，可能包括分表和分区的实现方式、示例代码以及适用场景。 首先，分表有两种方式：水平分表和垂直分表。水平分表是将数据按规则拆分到多个结构相同的表中，例如按时间或ID范围。垂直分表则是按列拆分，将不常用的列分出去。我需要给出具体的步骤，比如创建子表、数据迁移、使用视图或应用层路由。 然后，分区的实现需要使用CREATE TABLE语句时指定分区策略。例如，范围分区可以按年份或ID分区，哈希分区根据哈希函数分布数据。需要给出具体的SQL示例，比如按范围分区的代码，并说明如何管理分区，比如添加或删除分区。 还要注意分表和分区的区别，比如分表需要应用层处理，而分区对应用透明。适用场景方面，分表适合单表数据过大，而分区适合逻辑分割数据但希望简化管理的情况。 最后，用户可能需要优化建议，比如结合分表和分区，或者使用中间件。需要确保回答结构清晰，步骤详细，并包含示例和相关问题，帮助用户进一步学习。同时，要检查LaTeX格式是否正确，数学表达式用$...$，独立公式用$$...$$，并正确添加引用标识。</think>### MySQL分表与分区的实现方法及教程 --- #### 一、分表（Sharding） **定义**：将一个大表按规则拆分为多个结构相同的小表，降低单表数据量，提升查询性能[^1]。 ##### 1. **水平分表** - **适用场景**：数据量庞大，但表结构无需调整。 - **实现步骤**： 1. **按规则拆分表**：例如按时间（按月分表）或按ID范围（如`user_0`、`user_1`）。 2. **数据迁移**：将原表数据按规则分配到子表。 3. **路由查询**：通过应用层逻辑或中间件（如MyCat）根据规则选择子表。 ```sql -- 示例：按用户ID范围分表 CREATE TABLE user_0 (id INT PRIMARY KEY, name VARCHAR(50)) ENGINE=InnoDB; CREATE TABLE user_1 (id INT PRIMARY KEY, name VARCHAR(50)) ENGINE=InnoDB; ``` ##### 2. **垂直分表** - **适用场景**：表中包含大字段或不常用字段。 - **实现步骤**：将部分列拆分到新表，通过主键关联。 ```sql -- 原表 CREATE TABLE user (id INT PRIMARY KEY, name VARCHAR(50), profile TEXT); -- 拆分后 CREATE TABLE user_basic (id INT PRIMARY KEY, name VARCHAR(50)); CREATE TABLE user_profile (user_id INT, profile TEXT); ``` --- #### 二、分区（Partitioning） **定义**：将表数据逻辑上划分为多个区块，但物理存储可透明管理[^3]。 ##### 1. **范围分区（Range）** - **示例**：按订单日期分区。 ```sql CREATE TABLE orders ( id INT, order_date DATE ) PARTITION BY RANGE (YEAR(order_date)) ( PARTITION p2020 VALUES LESS THAN (2021), PARTITION p2021 VALUES LESS THAN (2022), PARTITION p2022 VALUES LESS THAN (2023) ); ``` ##### 2. **哈希分区（Hash）** - **示例**：按用户ID哈希分布。 ```sql CREATE TABLE logs ( id INT, content TEXT ) PARTITION BY HASH(id) PARTITIONS 4; ``` ##### 3. **列表分区（List）** - **示例**：按地区划分。 ```sql CREATE TABLE sales ( id INT, region VARCHAR(10) ) PARTITION BY LIST (region) ( PARTITION p_east VALUES IN ('Shanghai', 'Beijing'), PARTITION p_west VALUES IN ('Chengdu', 'Xian') ); ``` ##### 4. **管理分区** - **添加分区**： ```sql ALTER TABLE orders ADD PARTITION (PARTITION p2023 VALUES LESS THAN (2024)); ``` - **删除分区**： ```sql ALTER TABLE orders DROP PARTITION p2020; ``` --- #### 三、分表与分区的区别 | **特性** | **分表** | **分区** | |----------------|-------------------------------|-------------------------------| | 实现复杂度 | 需应用层处理路由 | 数据库自动管理 | | 查询性能 | 需跨表查询（可能更复杂） | 单表操作，优化器自动选择分区 | | 数据分布 | 物理分散（多表） | 逻辑分散（单表多区块） | | 适用场景 | 数据量极大，需分布式存储 | 数据量大但需简化管理 | --- #### 四、优化建议 1. **结合使用**：对分表后的子表进一步分区，提升查询效率。 2. **分区键选择**：优先使用高频查询条件字段（如时间、ID）。 3. **监控分区大小**：避免单个分区过大，影响索引效率[^2]。 4. **使用中间件**：如Vitess或ProxySQL，简化分表后的路由逻辑。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值