分库分表简要梳理

原创 已于 2024-06-28 19:29:22 修改 · 628 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库架构

于 2022-03-13 13:29:03 首次发布
博客聚焦亿级大表分库分表，有实战总结，涵盖大厂在用的分库分表方案，还通过图解形式呈现。同时针对ShardingSphere - jdbc实战进行讲解，助读者掌握相关知识。
MySQL第七讲：MySQL分库分表详解
Jet_qi的博客
06-12 1421
1、海量数据的存储问题2、如果使用关系型数据库解决海量存储的问题呢？3、mysql性能瓶颈分析4、大数据量数据库性能的解决方案？概念：分库，就是把数据拆分到不同的 MySQL 库中去分表：在数据量不变的情况下，把数据拆分到同一个库的多张表里面分库分表：数据库数量和表数量都发生变更使用场景为什么进行分库分表？分库分表的目的分库分表有垂直切分和水平切分如下图所示 垂直拆分如图所示： 水平拆分如图所示： 总体原则：那就是能不拆就不拆，能少拆不多拆，先才用加索引、读写分离解决性能问题，实在不行后，才考虑使用分库分表
分库分表：订单中心，多key业务如何进行数据库切分
琦彦
02-14 4150
本篇将以“订单中心”为例，介绍“多key”类业务，随着数据量的逐步增大，数据库性能显著降低，数据库水平切分相关的架构实践。 什么是“多key”类业务 所谓的“多key”，是指一条元数据中，有多个属性上存在前台在线查询需求。 订单中心业务分析 订单中心是一个非常常见的“多key”业务，主要提供订单的查询与修改的服务，其核心元数据为： Order(oid, buyer_uid, s...
分库分表&百亿级数据迁移
LoveSummer
04-22 3350
一 前言 拆库&数据迁移说白了，考验的不是一个人的技术功底，而是一个人干活的细致程度，以及抗压能力。无论在哪个公司，数据库迁移的机会都不会太多，因此，我也是非常珍惜这次历练，用阿里的一句老话来说就是 “因人成事，借事修人”。写这篇文章的目的主要是自己进行一个总结，也希望能给需要的同学们一些参考。 二 背景 在星爷的《大话西游》中有一句非常出名的台词：“曾经有一份真挚的感情摆在我的面前我没有珍惜，等我失去的时候才追悔莫及，人间最痛苦的事莫过于此，如果上天能给我一次再来一次的机会，我会对哪个女孩说三个字
ShardingSphere分库分表核心原理精讲第二节 应用集成和配置驱动
fegus的博客
05-24 1452
04 应用集成：在业务系统中使用 ShardingSphere 的方式有哪些？ 在上一课时中，我详细介绍了 ShardingSphere 与 JDBC 规范之间的兼容性关系，我们知道 ShardingSphere 对 JDBC 规范进行了重写，并嵌入了分片机制。基于这种兼容性，开发人员使用 ShardingSphere 时就像在使用 JDBC 规范所暴露的各个接口一样。这一课时，我们将讨论如何在业务系统中使用 ShardingSphere 的具体方式。 如何抽象开源框架的应用方式？ 当我们自己在设计和实现
ShardingSphere分库分表核心原理精讲第五节 扩展性
fegus的博客
05-24 936
12 从应用到原理：如何高效阅读 ShardingSphere 源码？ 从本课时开始，专栏将进入：“ShardingSphere 源码解析之基础设施”的模块。在介绍完 ShardingSphere 所具备的分库分表、读写分离、分布式事务、数据脱敏等各项核心功能之后，我将带领你全面剖析这些核心功能背后的实现原理和机制。我们将通过深入解析 ShardingSphere 源码这一途径来实现这一目标。 如何系统剖析 ShardingSphere 的代码结构？ 在阅读开源框架时，我们碰到的一大问题在于，常常会不由自
ShardingSphere分库分表核心原理精讲第四节 分布式事务理论、数据脱敏和编排治理
fegus的博客
05-24 662
09 分布式事务：如何使用强一致性事务与柔性事务？ 你好，欢迎进入第 09 课时的学习。今天，我们将介绍一个分布式环境下的重要主题，即分布式事务。在介绍 ShardingSphere 中的具体应用方式之前，我们有必要对分布式事务的基本概念做简要介绍。 如何理解分布式事务？ 在传统的关系型数据库中，事务是一个标准组件，几乎所有成熟的关系型数据库都提供了对本地事务的原生支持。本地事务提供了 ACID 事务特性。基于本地事务，为了保证数据的一致性，我们先开启一个事务后，才可以执行数据操作，最后提交或回滚就可以了
架构设计参考项目系列主题：分库分表及百亿级数据迁移
Larry的博客
04-21 679
本文转自：技术锁话 一 前言 拆库&数据迁移说白了，考验的不是一个人的技术功底，而是一个人干活的细致程度，以及抗压能力。无论在哪个公司，数据库迁移的机会都不会太多，因此，我也是非常珍惜这次历练，用阿里的一句老话来说就是 “因人成事，借事修人”。写这篇文章的目的主要是自己进行一个总结，也希望能给需要的同学们一些参考。 二 背景 在星爷的《大话西游》中有一句非常出名的台词：“曾经有一份真挚的感情摆在我的面前我没有珍惜，等我失去的时候才追悔莫及，人间最痛苦的事莫过于此，如果上天能给我一次再来一..
菜鸟积分系统稳定性建设 - 分库分表&百亿级数据迁移
数据库技术
09-15 312
一 前言 拆库&数据迁移说白了，考验的不是一个人的技术功底，而是一个人干活的细致程度，以及抗压能力。无论在哪个公司，数据库迁移的机会都不会太多，因此，我也是非常珍惜这次历练，用阿里的一句老话来说就是 “因人成事，借事修人”。写这篇文章的目的主要是自己进行一个总结，也希望能给需要的同学们一些参考。 二 背景 在星爷的《大话西游》中有一句非常出名的台词：“曾经有一份真挚的感情摆在我的面前我没有珍惜，等我失去的时候才追悔莫及，人间最痛苦的事莫过于此，如果上天能给我一次再来一次的机会，我会对哪个女..
MySQL知识梳理总结
qq_43658155的博客
03-29 1089
MySQL数据库 文章目录MySQL数据库1. 为什么要使用数据库2. 什么是SQL？3. 什么是MySQL?数据类型mysql有哪些数据类型索引1. 什么是索引？2. 索引有哪些优缺点？3. 索引使用场景（重点）4. 索引有哪几种类型？5. 索引的数据结构（b树，hash）6. 索引的基本原理7. 索引算法有哪些？8. 索引设计的原则？9. 创建索引的原则（重中之重）10. 创建索引的三种方式，...
数据库分片知识点梳理
07-26
Apache ShardingSphere 是主流分片中间件，支持分库分表、读写分离等。其核心流程包括SQL解析、路由、重写、执行和结果合并[^3]。示例分片配置： ```yaml # ShardingSphere 配置示例 rules: - !SHARDING ...
相关业务问题+系统问题+设计问题整理统计
热门推荐
张彦峰的博客
04-07 171万+
业务系统及其他相关面试问题整理：线上相关问题排查+高并发系统的限流+高并发秒杀系统设计+负载均衡+一个网站有 20 亿 url 存在一个黑名单中，这个黑名单要怎么存？若此时随便输入一个 url，你如何快速判断该 url 是否在这个黑名单中？并且需在给定内存空间（比如：500M）内快速判断出？
复试准备 | 情报学基础教程简要笔记
是希望的博客
05-08 4311
《情报学基础教程》一书的简要笔记，仅供参考
【愚公系列】《AIGC辅助软件开发》011-AI辅助编写技术文档：技术文档
时光隧道
07-24 9万+
在当今快速发展的技术环境中，技术文档的编写变得愈加重要。无论是软件开发、产品设计，还是系统架构，清晰、准确的技术文档不仅能帮助团队成员快速理解项目，还能为用户提供必要的使用指导。然而，编写高质量的技术文档常常是一项繁琐且耗时的任务。随着人工智能技术的不断进步，AI工具的辅助作用逐渐显现，特别是在技术文档的编写过程中。借助AI，开发者和技术作家可以更高效地生成、编辑和维护文档，从而专注于更高层次的创作和思考。
第一周知识梳理
# 1. 计算机基础知识回顾 ## 1.1 计算机硬件组成 计算机硬件主要包括中央处理器（CPU）、存储器（内存和存储设备）、输入设备（键盘、鼠标等）、输出设备（显示屏、打印机等）和各种外部设备（如网卡、声卡等）。...
【数据库架构】MySQL读写分离详解
weixin_53776580的博客
11-23 414
读写分离是一种常见的数据库架构优化策略，其核心是将数据库操作按类型分流：所有写操作（如 INSERT、UPDATE、DELETE）由主库（Master）处理，而读操作（如 SELECT）则由一个或多个从库（Slave）承担。该设计充分利用了大多数应用“读多写少”的访问特征，有效降低主库负载，提升系统整体并发能力和可用性。主库将数据变更记录到二进制日志（binlog），从库通过拉取并重放这些日志实现数据同步，从而提供只读服务。相比手动编码控制，中间件方案更推荐用于生产环境。整个实验的环境 以及服务器信息。
Lua非空判断方法[源码]
11-24
本文详细介绍了在Lua中进行非空判断的几种方法，特别是针对table类型的变量。首先，文章指出了直接对nil值进行索引会导致异常的问题，并给出了一个简单的例子来说明如何避免这种情况。接着，文章讨论了如何判断一个table是否为空，指出不能简单地使用`#table == 0`的方式，而是应该使用`next(t) == nil`的方法。此外，文章还提到了`next`指令在LuaJIT中的优化问题，建议在非必要情况下少用。最后，文章简要介绍了如何判断一个字符串是否全部由空格组成，使用了正则匹配的方法。这些内容对于Lua开发者来说非常实用，能够帮助他们避免常见的错误。
JS表格转Excel实现[可运行源码]
11-24
该文章详细介绍了如何使用JavaScript将HTML表格数据导出为Excel文件。内容涵盖了针对不同浏览器的兼容性处理，包括IE和非IE浏览器的不同实现方式。对于IE浏览器，使用ActiveXObject进行导出；对于非IE浏览器，则通过base64编码和数据URI方案实现。文章还提供了完整的代码示例，包括表格数据的处理、格式化和导出功能，支持文本和图片类型的数据导出。
图片转bin文件存储[项目代码]
11-24
本文介绍了在OpenCV项目中如何将大量图片数据转换为二进制（bin）文件进行高效存储和读取的方法。作者在项目中遇到需要处理大量图片数据的问题，尝试了多种格式（如.mat、.txt、.yml）后发现效率较低。通过使用二进制文件存储，显著提升了读写速度。文章详细展示了使用OpenCV将图片写入二进制文件的代码示例，以及从二进制文件读取图片数据的实现方法。虽然该方法需要提前知道图片的尺寸和数量，但读写速度极快，适合处理大量图片数据。作者还提到可以通过换行符或终止符优化读取过程，但未深入探讨。
ROS视觉处理与色彩识别[项目源码]
最新发布
11-24
本文详细介绍了在ROS环境下进行视觉处理的基础步骤，特别是针对色彩识别的实现方法。内容涵盖了从摄像头驱动的安装与配置（如usb_cam驱动和image_view工具的使用），到创建功能包和编写图像处理节点（包括RGB图像回调函数、HSV色彩空间转换、二值化处理及形态学操作）。此外，还演示了如何在仿真环境中获取图像，并通过OpenCV实现红色和绿色物体的识别与追踪。最后，文章提供了完整的代码示例和编译运行步骤，帮助读者快速上手ROS视觉处理项目。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值