从数据库分区、分表、分库、分片的角度对单机数据库进行优化

原创 已于 2023-02-02 16:56:52 修改 · 456 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库

于 2023-02-02 11:30:40 首次发布
文章详细介绍了数据库在面临单机性能瓶颈时的优化策略，包括数据分区、分表、分库以及分片的概念、应用场景和优缺点。这些方法旨在提高数据库的处理能力和扩展性，但也会带来系统复杂性和一致性问题。数据库分片作为进一步优化手段，旨在实现负载均衡和数据分布均匀，但其实施复杂且难以回滚。

我们常用的单机数据库在使用中有许多瓶颈，比如：

  1. 单个表的数据量越大，读写锁，插入操作重新建立索引的效率越低

  1. 单个表的数据量过大

  1. 单个服务器压力太大

  1. 并发量的瓶颈

这种情况下，我们考虑使用数据库分区、分表、分库来优化单机数据库。

什么是数据库分区？

数据分区，就是将一张表分为N个区块，逻辑上最终只是一张表，但是从底层上看它是由N个物理区块组成的。打个比方，打个比方，有一个大箱子

最低0.47元/天 解锁文章
数据库优化之分库分表
Code365
06-26 958
思路五中，需要将全量数据存在到路由关系表中建立索引，再结合 range 分库分表方案思想，其实有些场景下完全没有必要全部数据建立索引，可以按照号段式建立区间索引，我们可以将分片键的区间对应库的关系通过关系表记录下来，每次查询操作，先去路由表中查询到数据所在的库表索引，然后再到库表中查询详细数据。从上述代码中可以看出，其唯一不同是在计算库索引和表索引时，采用 TableCnt 作为基数（注：扩容操作时，一般采用库个数 2 倍扩容），这样在扩容时，表个数不变，则表索引不会变。从而实现库表数据偏斜率调整。
阿里云DRDS分布式数据库 - 分库分表
Java Punk
12-20 8014
由于 DRDS 是一个分布式关系数据库服务，处理的是分布式关系运算。分布式无疑会带来额外的跨库网络开销，而大家都知道，网络通信的延迟比单机内通信的延迟大得多。
数据库分片（Database Sharding)详解
weixin_34302798的博客
02-20 1057
本文由云+社区发表作者：腾讯云数据库 Introduction 导言 任何看到显著增长的应用程序或网站，最终都需要进行扩展，以适应流量的增加。以确保数据安全性和完整性的方式进行扩展，对于数据驱动的应用程序和网站来说十分重要。人们可能很难预测某个网站或应用程序的流行程度，也很难预测这种流行程度会持续多久，这就是为什么有些机构选择“可动态...
数据库优化分区篇
iteye_6930的博客
04-01 257
  大数据量的数据库设计准则：  1、分区 (list、range、hash、key)  2、索引 一、什么是表分区(以Mysql为例)通俗地讲表分区是将一大表，根据条件分割成若干个小表。mysql5.1开始支持数据表分区了。如：某用户表的记录超过了600万条，那么就可以根据入库日期将表分区，也可以根据所在地将表分区。当然也可根据其他的条件分区。 二、为什么要对表进行分区为了...
数据库的分片
01-07
数据库的分片，解决数据过大的问题。数据库的分片，解决数据过大的问题数据库的分片，解决数据过大的问题
数据库分片
qq_38515961的博客
01-11 3812
数据分片指按照某个维度将存放在单一数据库中的数据分散的存放在多个数据库或表中以达到提升性能瓶颈以及可用性的效果。数据分片的拆分方式又分为垂直分片和水平分片。
MySql分表、分库、分片和分区知识点介绍
09-08
为了解决这个问题，我们可以采取一系列的数据库扩展技术，包括分表、分库、分片和分区。这些方法各有特点，适用于不同的场景，旨在提高系统的可扩展性和性能。 1. **分片（类似分库）** - 分片是一种分布式数据库...
数据库优化理论——大表的优化方式、垂直分表、垂直分库、水平分表、水平分库、主从复制等
qq_44182424的博客
06-21 1069
MySQL复制：为保证主服务器和从服务器的数据一致性，在向主服务器插入数据后，从服务器会自动将 主服务器中修改的数据同步过来。I/O线程：负责从主服务器上读取二进制日志（Binary log），并写入从服务器的中继日志（Relay log）中。SQL线程：负责读取中继日志，解析出主服务器中已经执行的数据更改并在从服务器中重放 复制过程如下。主从复制的原理： 主从复制主要有三个线程：binlog线程，I/O线程，SQL线程。
数据库数据分片（分库分表）
进步新青年的博客
04-10 1262
什么是数据分片？ 简单来说，就是指通过某种特定的条件，将我们存放在同一个数据库中的数据分散存放到多个数据库（主机） 上面，以达到分散单台设备负载的效果。 数据切分有两种类型:垂直拆分与水平拆分。 垂直拆分： 1.表的垂直拆分：将一个表中的字段拆分到多个表中 拆分原则： 把不常用的字段单独放在一张表; 把text，blob等大字段拆分出来放在附表中; 经常组合查询的列放在一张表中; 缺点： 1...
数据库分片(Sharding):分表+分库+分片+分区
热门推荐
weixin_41269279的博客
08-09 1万+
在字段很多的情况下（例如一个大表有100多个字段），通过"大表拆小表"，更便于开发与维护，也能避免跨页问题，MySQL底层是通过数据页存储的，一条记录占用空间过大会导致跨页，造成额外的性能开销。当业务高速发展，面临性能和存储的瓶颈时，才会考虑分片设计，此时就不可避免的需要考虑历史数据迁移的问题。但是如果取得页数很大，情况则变得复杂很多，因为各分片节点中的数据可能是随机的，为了排序的准确性，需要将所有节点的前N页数据都排序好做合并，最后再进行整体的排序，这样的操作时很耗费CPU和内存资源的，所以。...
什么是数据库分片？
网络技术联盟站
05-04 1373
数据库分片是指将一个大型数据库拆分成多个小型数据库，每个小型数据库称为一个分片。通过这种方式，可以将数据库的负载分散到多个服务器上，从而提高数据库的性能和可伸缩性。数据库分片是一种将大型数据库分散到多个分片中以提高性能和可伸缩性的方法。分片策略可以根据数据范围、哈希值、副本等因素来确定，分片实现需要考虑数据库架构、负载均衡、数据库连接和数据迁移等问题。虽然数据库分片可以提高数据库的性能和可伸缩性，但是也会增加一些复杂性和安全性的问题。
数据库分片和分区
theVicTory的博客
05-27 7241
数据库的数据量达到一定程度之后，为避免带来系统性能上的瓶颈。需要进行数据的处理，采用的手段是分区、分片、分库、分表。
数据库的分片策略
zxyhj的博客
07-14 1158
同时，分片策略的设计还需考虑数据迁移、负载均衡、故障恢复和数据一致性等问题，确保分片的有效管理和操作。尽管分片提供了许多优势，但也需要考虑一些挑战和复杂性，如数据迁移、跨分片事务处理、查询跨分片的支持等。因此，在实施分片之前，需要仔细评估和规划，确保正确选择适合应用需求的分片策略，并考虑好分片带来的额外开销和复杂性。需要注意的是，开启分片是一个复杂的过程，需要综合考虑应用需求、数据特点和系统架构。数据库的分片策略是指将数据库中的数据按照一定的规则和方式进行分割（分片）存储在不同的物理节点或服务器上的策略。
数据库分片（Sharding）技术
u012632105的博客
03-08 123
数据库分片（Sharding）技术
MySQL的IO过高怎么优化，分库分表及分区
最新发布
07-24
我们首先需要解决用户的问题：优化MySQL的IO性能，以及了解分库分表及分区的实现方式。 根据用户提供的引用，我们可以提取以下信息： 引用[1]和[3]主要讲分库分表，引用[2]提到了一些关键参数配置用于优化。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值