mysql分表

最新推荐文章于 2020-11-25 10:32:37 发布
原创 最新推荐文章于 2020-11-25 10:32:37 发布 · 414 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

分表的目的是为了当表数据大的时候，为了减少花费时间所存在的一种机制。

1.这里有一张Product表。

CREATE TABLE `product` (
  `id` varchar(64) COLLATE utf8_bin NOT NULL,
  `code` varchar(64) COLLATE utf8_bin NOT NULL COMMENT '代码',
  `sku` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT 'SKU',
  `name` varchar(255) COLLATE utf8_bin NOT NULL COMMENT '名称',
  `full_name` varchar(255) COLLATE utf8_bin DEFAULT NULL COMMENT '全称',
  `short_name` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '全称',
  `english_name` varchar(255) COLLATE utf8_bin DEFAULT NULL COMMENT '英文名',
  `spec` varchar(255) COLLATE utf8_bin DEFAULT NULL COMMENT '规格',
  `shelf_life` int(11) DEFAULT NULL COMMENT '保质期',
  `ctn_gtin` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '箱GTIN',
  `pcs_gtin` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '单品GTIN',
  `type_id` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '类型id',
  `active` tinyint(1) DEFAULT '1' COMMENT '可用',
  `pcs_per_ctn` int(11) DEFAULT NULL COMMENT '每箱单品数',
  `ctn_per_plt` int(11) unsigned DEFAULT NULL COMMENT '每托箱数',
  `barcode` varchar(255) COLLATE utf8_bin DEFAULT NULL COMMENT '条码',
  `jde_code` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT 'JDE编码',
  `create_by` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '创建者',
  `create_date` datetime NOT NULL COMMENT '创建时间',
  `update_by` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '更新者',
  `update_date` datetime NOT NULL COMMENT '更新时间',
  `remarks` varchar(255) COLLATE utf8_bin DEFAULT NULL COMMENT '备注信息',
  `del_flag` char(1) COLLATE utf8_bin NOT NULL DEFAULT '0' COMMENT '删除标记（0：正常；1：删除）',
  `type` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '产品类型',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
2.建两张product2、product3 表用于分担原表的数据量，两表的结构字段必须和原表product一致：

CREATE TABLE `product2` (
  `id` varchar(64) COLLATE utf8_bin NOT NULL,
  `code` varchar(64) COLLATE utf8_bin NOT NULL COMMENT '代码',
  `sku` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT 'SKU',
  `name` varchar(255) COLLATE utf8_bin NOT NULL COMMENT '名称',
  `full_name` varchar(255) COLLATE utf8_bin DEFAULT NULL COMMENT '全称',
  `short_name` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '全称',
  `english_name` varchar(255) COLLATE utf8_bin DEFAULT NULL COMMENT '英文名',
  `spec` varchar(255) COLLATE utf8_bin DEFAULT NULL COMMENT '规格',
  `shelf_life` int(11) DEFAULT NULL COMMENT '保质期',
  `ctn_gtin` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '箱GTIN',
  `pcs_gtin` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '单品GTIN',
  `type_id` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '类型id',
  `active` tinyint(1) DEFAULT '1' COMMENT '可用',
  `pcs_per_ctn` int(11) DEFAULT NULL COMMENT '每箱单品数',
  `ctn_per_plt` int(11) unsigned DEFAULT NULL COMMENT '每托箱数',
  `barcode` varchar(255) COLLATE utf8_bin DEFAULT NULL COMMENT '条码',
  `jde_code` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT 'JDE编码',
  `create_by` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '创建者',
  `create_date` datetime NOT NULL COMMENT '创建时间',
  `update_by` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '更新者',
  `update_date` datetime NOT NULL COMMENT '更新时间',
  `remarks` varchar(255) COLLATE utf8_bin DEFAULT NULL COMMENT '备注信息',
  `del_flag` char(1) COLLATE utf8_bin NOT NULL DEFAULT '0' COMMENT '删除标记（0：正常；1：删除）',
  `type` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '产品类型',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;


CREATE TABLE `product3` (
  `id` varchar(64) COLLATE utf8_bin NOT NULL,
  `code` varchar(64) COLLATE utf8_bin NOT NULL COMMENT '代码',
  `sku` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT 'SKU',
  `name` varchar(255) COLLATE utf8_bin NOT NULL COMMENT '名称',
  `full_name` varchar(255) COLLATE utf8_bin DEFAULT NULL COMMENT '全称',
  `short_name` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '全称',
  `english_name` varchar(255) COLLATE utf8_bin DEFAULT NULL COMMENT '英文名',
  `spec` varchar(255) COLLATE utf8_bin DEFAULT NULL COMMENT '规格',
  `shelf_life` int(11) DEFAULT NULL COMMENT '保质期',
  `ctn_gtin` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '箱GTIN',
  `pcs_gtin` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '单品GTIN',
  `type_id` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '类型id',
  `active` tinyint(1) DEFAULT '1' COMMENT '可用',
  `pcs_per_ctn` int(11) DEFAULT NULL COMMENT '每箱单品数',
  `ctn_per_plt` int(11) unsigned DEFAULT NULL COMMENT '每托箱数',
  `barcode` varchar(255) COLLATE utf8_bin DEFAULT NULL COMMENT '条码',
  `jde_code` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT 'JDE编码',
  `create_by` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '创建者',
  `create_date` datetime NOT NULL COMMENT '创建时间',
  `update_by` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '更新者',
  `update_date` datetime NOT NULL COMMENT '更新时间',
  `remarks` varchar(255) COLLATE utf8_bin DEFAULT NULL COMMENT '备注信息',
  `del_flag` char(1) COLLATE utf8_bin NOT NULL DEFAULT '0' COMMENT '删除标记（0：正常；1：删除）',
  `type` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '产品类型',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

3.最后将product前五条数据的数据分配给product2、将product的后两天数据分配给product3

INSERT INTO product2(
     product2.id,product2.code,product2.sku,
     product2.name,product2.full_name,product2.short_name,
     product2.english_name,product2.spec,product2.shelf_life,
     product2.ctn_gtin,product2.pcs_gtin,product2.type_id,
     product2.active,product2.pcs_per_ctn,product2.ctn_per_plt,
     product2.barcode,product2.jde_code,product2.create_date,product2.create_by,
     product2.update_date,product2.remarks,product2.del_flag,
     product2.type)
SELECT  
    product.id,product.code,product.sku,
    product.name,product.full_name,product.short_name,
    product.english_name,product.spec,product.shelf_life,
    product.ctn_gtin,product.pcs_gtin,product.type_id,
    product.active,product.pcs_per_ctn,product.ctn_per_plt,
    product.barcode,product.jde_code,product.create_date,product.create_by,
    product.update_date,product.remarks,product.del_flag,
    product.type FROM product limit 5

INSERT INTO product3(
  product3.id,product3.code,product3.sku,
  product3.name,product3.full_name,product3.short_name,
  product3.english_name,product3.spec,product3.shelf_life,
  product3.ctn_gtin,product3.pcs_gtin,product3.type_id,
  product3.active,product3.pcs_per_ctn,product3.ctn_per_plt,
  product3.barcode,product3.jde_code,product3.create_date,product3.create_by,
  product3.update_date,product3.remarks,product3.del_flag,
  product3.type)
SELECT  
  product.id,product.code,product.sku,
  product.name,product.full_name,product.short_name,
  product.english_name,product.spec,product.shelf_life,
  product.ctn_gtin,product.pcs_gtin,product.type_id,
  product.active,product.pcs_per_ctn,product.ctn_per_plt,
  product.barcode,product.jde_code,product.create_date,product.create_by,
  product.update_date,product.remarks,product.del_flag,
  product.type FROM product order by id desc limit 2 

`



参考：http://blog.51yip.com/mysql/949.html

小菜911
关注
深入探讨MySQL分表策略与实践
私聊前往站内信：https://i.youkuaiyun.com/#/msg/chat/weixin_44976692
02-27 2万+
MySQL分表是将原始表中的数据按照一定规则分散到多个表中，以减轻单表数据量过大的压力，提高数据库的性能和可用性。常见的分表方式包括水平分表和垂直分表。将表中的行数据按照某种规则拆分到不同的物理表中，常见的拆分规则包括按时间、按数据量等。水平分表：当单表数据量巨大，且数据增长迅速时，水平分表是一个常用的解决方案。适用于数据的增长方向是单向的，即数据的增加只在某一个维度上进行，如时间维度、订单ID维度等。
Mysql数据库常用分库和分表方式
CleverCode的博客
03-13 1万+
1 分库 1.1 按照功能分库 按照功能进行分库。常见的分成6大库： 1 用户类库：用于保存了用户的相关信息。例如：db_user,db_system,db_company等。 2 业务类库：用于保存主要业务的信息。比如主要业务是笑话，用这个库保存笑话业务。例如：db_joke,db_temp_joke等。 3 内存类库：主要用Mysql的内存引擎。前台的数据从...
【精华】数据库分库分表(sharding)系列
很多时候，你缺少的不是知识而是热情
12-06 1283
转别人一个关于数据库分表的专栏系统，写的很好 数据库Sharding的基本思想和切分策略 关于垂直切分Vertical Sharding的粒度 数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示 数据库分库分表(sharding)系列(二) 全局主键生成策略 数据库分库分表(sharding)系列(三) 关于使用框架还是自主开
MySql从一窍不通到入门（五）Sharding：分表、分库、分片和分区
热门推荐
Invoker's Tower
10-23 5万+
转载：用sharding技术来扩展你的数据库（一）sharding 介绍 转载：MySQL架构方案 - Scale Out & Scale Up. 转载： 一、Sharding Sharding 是把数据库横向扩展（Scale Out）到多个物理节点上的一种有效的方式。Shard这个词的意思是“碎片”。如果将一个数据库当作一块大玻璃，将这块玻璃打碎，那么每一小块都称为数据库的碎片（Da
数据库之分库分表
鄙人kunzhi96，感恩遇见！
11-01 875
经常会听说数据库的分库分表，工作后更是发现这是一个基本必备的知识，由于自己对这块了解不是很好，所以就最近在关注学习，下面把学习到的东西总结一下，如有错误，请大家帮忙纠正！ 从两个W一个H了解，What？Why？How？ 1.What（什么是分库分表）？ 从字面上简单理解，就是把原本存储于一个库的数据分块存储到多个库上，把原本存储于一个表的数据分块存储到多个表上。 英文是“shard”，作为数据...
数据库分库分表（MyCat，ShardingSphere）
Aizen_Sousuke的博客
01-03 916
数据库切分根据其切分类型，可以分为两种方式：垂直切分和水平切分 数据库三大范式 范式是关系数据库理论的基础，也是我们设计数据库结构过程中索要遵循的规范和指导方法，常用的三大范式 第一范式（1NF） 强调的是列的原子性，即列不能再细化分成其他多列 第二范式（2NF） 除了符合第一范式外，还有两个部分。 一：表中必须有一个主键 二：没有包含在主键中得列，必须完全依赖于主键。 第三范式（3NF） 除了符...
数据库切分——分库，分表
林sanity
03-16 491
第1章 引言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库：可以降低单台机器的负载，同时最大限度的降低了宕机造成的损失；负载均衡策略：可以降低单台机器的访问负载，降低宕机...
Node.js 实现的 MySQL 分表分库中间件，用于海量数据的分布式集群储存管理和高并发访问。.zip
01-04
本文将深入探讨基于Node.js实现的MySQL分表分库中间件，它在分布式集群环境中起到至关重要的作用。 首先，Node.js是一种流行的JavaScript运行环境，它允许开发人员使用JavaScript进行服务器端编程。Node.js的异步非...
MySQL分表及分表后插入sql
04-04
MySQL分表及分表后插入sql语句，表为订单表，可以参考一下
mysql分表分库demo
03-15
MySQL 分表分库 Demo MySQL 分表分库是指将大型数据库表分割成多个小表，以提高数据库的性能和可扩展性。随着业务数据的增长，数据库表中的数据不断增加，如果不加以控制，数据库的性能将会下降，影响业务的发展。 ...
mysql 分表
11-17
关于mysql的分表技术实现方法。以及分表设计， 及简单的代码实例。
mysql分表与分区
u010258505的专栏
06-15 1255
1、首先得确认mysql是否支持分区功能，这可以通过命令：show plugins查看 如果显示如下，则说明你的mysql版本支持partition 2、InnoDB一般用于具有事务和外键的场合，它默认将所有的表数据和索引文件放在一个名为ibdata1的文件中，属于共享表空间。 MyISAM默认每个表都会有一个.frm表描述文件和一个.ibd文件，属于独占表空间。 分区
数据库切分(7)之一种支持自由规划无须数据迁移和修改路由代码的Sharding扩容方案
零度的博客专栏
08-22 903
版权声明：本文由本人撰写并发表于2012年9月份的《程序员》杂志，原文题目《一种支持自由规划的Sharding扩容方案——主打无须数据迁移和修改路由代码》，此处作为本系列的第五篇文章进行转载, 本文版权归《程序员》杂志所有，未经许可不得转载！ 作为一种数据存储层面上的水平伸缩解决方案，数据库Sharding技术由来已久，很多海量数据系统在其发展演进的历程中都曾经历过分库分表的Shardi
数据库设计专业词汇中英对照表
神话
02-12 972
1. Access method（访问方法）：此步骤包括从文件中存储和检索记录。 2. Alias（别名）：某属性的另一个名字。在SQL中，可以用别名替换表名。 3. Alternate keys（备用键，ER/关系模型）：在实体/表中没有被选为主健的候选键。 4. Anomalies（异常）参见更新异常（update anomalies） 5. Applic...
微服务架构下数据库分表算法
Aaron的blog
05-03 1426
数据库水平分表算法实现介绍如下：一：实现思想      以MurmurHash算法为基础，在MurmurHash算法进行必要改造，本次主要进行64分表，即分为64个主表，实现思想简介如下：      1、MurmurHash生成hashcode      ---详细可看代码      2、hashcode取模64生成分表下表，---详细可看代码      3、分表的下表拼接            ...
【数据库】分库分表的几种方式及总结
tpasta的博客
07-08 1万+
分库分表的几种常见形式公司业务的发展过程中，提高系统的处理承载能力，在数据库端通常都会选择分库分表。今天对数据库的分库分表进行了一次学习与总结。1、垂直分表垂直分表在日常开发和设计中比较常见，通俗的说法叫做“大表拆小表”，拆分是基于关系型数据库中的“列”（字段）进行的。通常情况，某个表中的字段比较多，可以新建立一张“扩展表”，将不经常使用或者长度较大的字段拆分出去放到“扩展表”中，如下图所示：在字...
数据库分库分表(sharding)系列
starstarstone的专栏
12-20 1385
数据库分库分表(sharding)系列   作者：黄钧航 ，发布于2012-11-22，来源：优快云   目录; (一) 拆分实施策略和示例演示 (二) 全局主键生成策略 (三) 关于使用框架还是自主开发以及sharding实现层面的考量 (四) 多数据源的事务处理 (五) 一种支持自由规划无须数据迁移和修
数据库分表
chenkai4241的博客
09-13 317
项目开发中，我们的数据库数据越来越大，随之而来的是单个表中数据太多。以至于查询书读变慢，而且由于表的锁机制导致应用操作也搜到严重影响，出现了数据库性能瓶颈。 当出现这种情况时，我们可以考虑分表，即将单个数据库表进行拆分，拆分成多个数据表，然后用户访问的时候，根据一定的算法，让用户访问不同的表...
ci框架 mysql 超时时间_mysql 字符集和校验规则（ CHARSET & COLLATE)
weixin_39951295的博客
11-25 226
我们首先看下常见建表语句：mallAllGoodsCREATE TABLE `qywl`.`mallAllGoods` ( `id` varchar(64) NOT NULL COMMENT '主键id',`userId` varchar(64) NOT NULL DEFAULT '' COMMENT '发布人id',`storeId` varchar(64) NOT NULL DEFAU...
MySQL 分表
最新发布
05-03
### MySQL 分表策略与实现方法 #### 一、分表的概念及其重要性 当单个表的数据量过大时，查询性能可能会显著下降。为了提升数据库的读写效率并优化资源利用，可以采用分表技术。分表的核心在于将一张大表拆分为多个较小的子表，从而减少每次操作涉及的数据规模[^1]。 #### 二、分表的主要方式 分表通常可分为两种主要形式：**垂直分表**和**水平分表**。 - **垂直分表** 垂直分表是指按列划分数据结构，即将同一张表中的某些字段分离出来形成新的表。这种方法适用于部分字段访问频率较低的情况。例如，假设有一张用户表 `users`，其中包含用户的个人信息以及一些不常用的日志记录字段，可以通过创建一个新的表存储这些低频使用的字段来降低原表复杂度[^4]。 - **水平分表** 水平分表则是基于行进行分割，通常是依据某个特定条件（如时间戳、ID范围等），将满足该条件的部分数据存入不同的子表中。这种方式适合于那些随着时间增长不断积累新数据的大表。 ```sql -- 示例：水平分表按照日期分区 CREATE TABLE orders_2023 ( id INT PRIMARY KEY, order_date DATE NOT NULL, amount DECIMAL(10, 2) ); CREATE TABLE orders_2024 LIKE orders_2023; ``` #### 三、分表的具体实现方法 以下是几种常见的分表实现方案： 1. **手动分表** 手动分表是最简单的方式之一，开发者可以根据实际需求自行设计如何分配数据至各个子表。然而，这种做法增加了维护成本，并可能导致逻辑错误的发生概率增加。 2. **使用中间件工具** 随着技术的发展，许多优秀的开源项目提供了自动化的分库分表示能。比如 MyCat 和 ShardingSphere 就是非常流行的两个选项。它们能够帮助企业快速搭建分布式架构环境下的高效解决方案[^3]。 - **MyCat**: 支持灵活配置路由规则，允许自定义 SQL 解析器等功能； - **ShardingSphere**: 提供更丰富的特性集，包括但不限于透明化客户端接入层、动态扩展能力支持等等。 3. **依赖框架完成** 对于应用程序而言，也可以借助 ORM (Object Relational Mapping) 框架内置的支持机制来进行无缝切换。像 Hibernate 或者 Django 的模型迁移功能都可以很好地配合后台服务端一起工作[^2]。 #### 四、注意事项及潜在挑战 尽管分表带来了诸多好处，但也伴随着一定风险或局限之处需要注意规避： - 数据一致性难以保障； - 跨表联结变得困难重重； - 备份恢复过程更加繁琐耗时； 因此，在决定实施之前务必权衡利弊得失后再行动[^3]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值