数据库重构--垂直分表小结

最新推荐文章于 2024-01-20 09:15:00 发布
原创 最新推荐文章于 2024-01-20 09:15:00 发布 · 546 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #重构 #垂直分表 #用户表重构

本文探讨了在面对大规模字段的表时如何进行数据库垂直分表。重点强调了重构新表的重要性，而非纠结于字段分配。接受数据不一致、允许冗余并容忍多表操作是关键。以登录场景为例，介绍了user_reg和user_login两个表的设计，展示如何在确保登录功能正常运作的同时，优化数据结构。


#垂直分表

面对一个200个字段以上的表,我相信你的表情一定会十分宁静,可能就会考虑分而治之


开始分表吧!

面对现有的表结构,数据库垂直分表要分而"不分"(不要纠结哪个字段应该放在哪个新表里面)

也不用纠结原有数据表的结构

要根据业务场景,重构新表,"分"只是结果

#打破原有认知

1.接受数据不一致

2.允许数据冗余

3.可以接受同时操作多张表(低概率事件场景下)

#数据必须一致的情况



以登录场景为例

user_reg 登录注册表

ID

GUID

UserName

Password

Sex

RegTime

RegAdress


user_login 手机邮箱登录方式信息表

ID

GUID

LoginName

PassWord

NickName


注册数据事例

user_reg

ID  GUID                                                                    UserName  Password   Sex      RegTime         RegAdress

1   3961a97a-fef5-4527-b5ad-8424d01f11f5    ggjjqq888    123qwe       male    2017-08-31     '北京市东城区'

user_login

ID GUID                                                                       LoginName                         PassWord          NickName

1    3961a97a-fef5-4527-b5ad-8424d01f11f5     ggjjqq888      123qwe          '北京`市东城区的高桥凉介 '

2    3961a97a-fef5-4527-b5ad-8424d01f11f5     13911545682      123qwe  '北京`市东城区的高桥凉介'

3    3961a97a-fef5-4527-b5ad-8424d01f11f5      361747859@qq.com      123qwe  '北京`市东城区的高桥凉介'


MySQL数据库面试题（2022最新版）
zqy_zq_zxl的博客
07-12 4696
优点：存取速度快缺点：数据不能永久保存优点：数据永久保存缺点：1）速度比内存操作慢，频繁的IO操作。2）查询数据不方便1）数据永久保存2）使用SQL语句，查询方便效率高。3）管理数据方便结构化查询语言(StructuredQueryLanguage)简称SQL，是一种数据库查询语言。作用：用于存取数据、查询、更新和管理关系数据库系统。MySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的
彻底搞清分库分表（垂直分库，垂直分表，水平分库，水平分表）
热门推荐
传智燕青
09-03 12万+
分库分表是什么 下边以电商系统中的例子来说明，下图是电商系统卖家模块的表结构： 通过以下SQL能够获取到商品相关的店铺信息、地理区域信息： SELECT p.*,r.[地理区域名称],s.[店铺名称],s.[信誉] FROM [商品信息] p LEFT JOIN [地理区域] r ON p.[产地] = r.[地理区域编码] LEFT JOIN [店铺信息] s ON p.id = s.[所属...
数据库重构《Refactoring DataBase Evolutionary DataBase Design》介绍
weixin_33787529的博客
03-14 304
说实话我也是前两周才知道有数据库重构这回事，当时听说这个概念的时候，唯一的反应就是：数据库居然也能重构？刚好上周去图书馆借书，看见了《数据库重构》这本书，就借回来看了几章。下面会结合自己的体会介绍一些这本书的一些观点。 数据库重构概念 数据库重构是对数据库Schema进行的简单改动，在保持行为和信息语义的前提下改进设计。 数据库重构可以重构数据库Schema的结构：比如表、视图的定义、修改；...
数据库设计、数据库优化、重构数据库表结构、MySQL开启事务
最新发布
leshen_88的博客
01-20 1199
数据库设计是指根据需求和目标，在使用数据库管理系统（DBMS）来存储和管理数据时，用于确定数据库结构的过程。数据库设计的目标是创建一个高效、灵活、可靠并且易于使用的数据库，以满足组织的数据管理需求。逻辑模型使用数据库模型（如关系模型）表示实体、属性和关系，并确定表的结构、字段和关系。物理设计：根据逻辑模型，选择合适的数据类型、索引和约束，以及优化数据库性能的技术（如分区、冗余和缓存）。数据库设计需要考虑数据的完整性、一致性、安全性、性能和可扩展性等方面，以确保数据库的高效运作和可靠性。
怎么重构数据库表结构
weixin_35750483的博客
01-05 605
重构数据库表结构的方法有很多种。下面是一些常用的方法: 使用数据库管理系统的图形界面，例如 MySQL Workbench、PHPMyAdmin 或 Navicat，直接在图形界面上修改表结构。 使用 SQL 语句修改表结构。例如: ALTER TABLE 表名 ADD 字段名 字段类型; ALTER TABLE 表名 MODIFY 字段名 字段类型; ALTER TABLE 表名 DRO...
数据库设计——分表重构
Nnnn的博客
04-15 798
数据库有时会遇到重构的需求。但是，基于当前数据库大量数据无法大刀阔斧地重新洗盘。比如，需要在当前数据库表添加一个字段（Field）。这样每次产生新的字段需求时，均在单一数据表末尾添加。久而久之，数据表变得结构臃肿，数据冗杂，难以理解。另一种做法就是，对数据表包含已有和添加的字段重新规划，将原表拆分成两个或多个新表重新设计。分表后，数据结构条理清晰，目标明确。这种方法缺点也很明显，添加单个字段，就必须拆除整个数据表，并对原有数据进行完整的迁移。数据迁移工作耗时耗力，颇为麻烦。 增量式和解构式的数据库重构方法
分库分表之Sharding-JDBC
长沙老码农
03-16 6759
目录 1、Sharding-JDBC概述 2、架构回顾 3、SpringBoot集成Sharding-JDBC 3.1 准备工作 3.2 配置MySQL主从复制 3.3 引入依赖坐标 3.4 application.properties配置 3.5 启动类，pojo service,dao,test 3.6 一些需要补充的概念 4、Sharding-JDBC原理 5、分库分表带来的问题 5.1 垂直分库带来的问题和解决思路 5.2 水平分库带来的问题和解决思路 5.3 我们.
数据库性能优化—分库分表
sanmi8276的博客
02-17 803
文章出自：阿里巴巴十亿级并发系统设计（2021版） 链接：https://pan.baidu.com/s/1lbqQhDWjdZe1CBU-6U4jhA提取码：8888 目录 如何对数据库做垂直拆分 如何对数据库做水平拆分 解决分库分表引入的问题 课程小结 前一节课，我们学习了在高并发下数据库的一种优化方案:读写分离，它就是依靠主从复制的技术使得数据库实现了数据复制为多份，增强了抵抗大量并发读请求的能力，提升了数据库的查询性能的同时，也提升了数据的安全性，当某一个数据库节点，无论是主库...
当技术重构遇上DDD，如何实现业务、技术双赢？
q1472750149的博客
01-07 691
百度Geek说正在上传…重新上传取消​架构师 @ 百度 全文9000字，预计阅读时间21分钟 一、困境：项目背景 爱番番沟通基于百度商桥快速完成了产品功能和技术架构的从无到有，但同时也继承了百度商桥历史功能繁杂、技术架构陈旧的缺点。为了能更好地服务于爱番番沟通将来的产品演进，提高产研能效，需要从实际问题出发，聚焦主要矛盾，对产品架构和业务架构进行重构。 为了更好的理解本文内容，以下是必要的名词解释： 1.1 爱番番沟通是什么？ 爱番番沟通是连接访客和商家的在线咨询工具。一方面访客可以...
mysql水平分表和垂直分表和数据库分区
dragon8299的专栏
10-11 1727
mysql水平分表和垂直分表和数据库分区。 坚信数据库的物理设计在对高级数据库的性能影响上远比其他因素重要。给大家说一下经过专家对Oracle的研究，他们解释了为什么拙劣的物理设计是数据库停机（无论是有计划的还是没计划的）背后的主要原因。但在这点上俺还是坚持DBA如果想要高性能
数据库垂直分表
weixin_44432032的博客
09-23 408
通过将重要的字段单独剥离成一张小表，让每一页可以容纳更多的行数据，进而缩小数据扫描的范围，达到提高执行效率的目的。 垂直分表的依据：单表的数据量可能超过千万级别，字段超过20个，包含了超长的varchar，text等 数据查询，排序时所需要的字段，高频访问的字段适合放到小表中 ...
MYSQL数据库之如何在已经建立好表之后重构数据表
a123132123的博客
08-04 848
表一：mysql> select * from employee;+----+--------+---------+| id | name | manager |+----+--------+---------+| 1 | 张三 | 李红 || 2 | 张三 | 李红 || 3 | 王五 | 刘倩 || 4 | 马六 | 马芳 ...
数据分析之数据重构一（表的合并）
qq_42872313的博客
03-18 350
1、表的合并 1.1 使用pd.concat() # 横向合并两张表 # 官方文档1表示列也就是列合并 0表示索引也就是行合并 df=pd.concat([s1,s2],axis=1) # 纵向合并两张表 axis=0可以不写默认是按行 df=pd.concat([s1,s2],axis=0) 1.2 使用df.join() 、df.merge()进行列合并 使用df.append()进行行合并 #使用DataFram中的join来实现列合并 # 左右合并 other表加入df表中 df.
重构——数据库设计
z-xiaoyao
01-02 1942
重构工作开始没有几天，就遇到了困难，数据库该如何设计？     以前用的数据库都是现成的，或者说整个数据库结构都设计好了，我们只要照葫芦画瓢，或者干脆增加几个表就好了，可是这次真的要彻彻底底的自己设计一个数据库了。 分析需求     有了第一遍机房收费系统的经验，分析需求的工作对我们来说就变的简单起来了，因为我们很清楚整个系统是如何运作的，有哪些需求，甚至系统有哪些窗体。下面我来简单
重构数据库表结构的原则
weixin_42581003的博客
01-05 122
重构数据库表结构的原则包括： 保证数据的完整性：在重构过程中不能丢失或损坏任何数据。 易于维护：重构后的数据库表应该易于管理和维护。 避免冗余：数据库表中不应该存在冗余数据，这会降低数据库的性能。 提高性能：重构后的数据库表应该能够更快地执行查询和更新操作。 满足业务需求：重构后的数据库表应该能够支持业务运作所需的数据和功能。 ...
Mysql分库分表（Mycat）
kali_yao的博客
09-11 1292
​分库分表 概述 关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。 当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。 数据库分布式核心内容无非就是数据切分（Sharding），以及切分后对数据的定位、整合。 数据切分就是将数据分散存储到多个数据库中，使得单一数据库中的数据量变小，通过扩充主机的数量缓解单
数据库的垂直水平分库，表的垂直水平分表
诗水人间
08-02 11万+
垂直分库 按照业务进行拆分，例如可以将商品表，订单表，用户表单独放一个数据库中 水平分库 将一个数据库的结构复制一份，然后在存取得时候可以根据主键id % 拆分得库个数n 利用余数将数据存在指定的数据库中 垂直分表 将表中字段较大的字段取出，单独列一张表，这个时候只需要一个主键来表示垂直分表前之间的关系 水平分表 将数据量过多的表进行水平拆分，有些表可能几百万条记录，将表的数据量通过拆表来降低数据量(指的是行数) 应用场景 数据库设计设计阶段： ①：数据库设计时就需要考虑垂直分库和垂直分表 上线后 ②：当
重构表结构
望远镜666的博客
08-18 290
当我们在往表中新增字段，或是删除字段后，再做更新数据操作时，会出现报错。 这个时候可能就是我们没有重构表结构引起的报错 所以我们在变更表结构后一定要重构表结构 ALTER TABLE TABLE_MANE ADD COLUMN COLUMN_NAME VARCHAR (2); CALL SYSPROC.ADMIN_CMD('REORG TABLE TABLE_NAME'); ...
【DataBase】数据库的水平（分库）分表和垂直（分库）分表到底是什么？
m0_64210833的博客
07-21 3941
简单来说就是水平分表根据数据的条数进行分表，垂直分表是按照字段进行分表
数据库重构技术及其应用详解
数据库重构是一种在保持数据完整性和一致性的同时，修改数据库结构或其内容的技术手段，目的是提高数据库的性能、可维护性或可扩展性。随着业务的不断变化，数据库模式可能需要进行调整以适应新的业务需求。本文将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值