数据库 replication and partitioning

最新推荐文章于 2025-07-01 12:29:18 发布
原创 最新推荐文章于 2025-07-01 12:29:18 发布 · 262 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#金融

本文介绍了数据库中的两种关键技术：partitioning 和 replication。partitioning 用于将业务领域划分到不同的数据库中，而 replication 则用于备份数据，支持同步和异步两种方式。同步复制通常应用于对网速要求较高的关键业务领域，如金融行业；异步复制则适用于灾难恢复等场景。

partitioning应用在划分正交的业务领域到不同的数据库；replication同loader balance用在一起。有同步和异步两种方式。

 

1. Synchoronus

网速要求比较快，用在业务关键的领域比如金融

 

不同节点相互备份和partitioning

 

 

2. Asynchoronous

 

异步方式用Queue，Pub/Sub方式。应用场景包括disarster recovery,网速慢时

 

 

【数据库系统】RocksDB 极简教程
AI天才研究院
03-15 2万+
LevelDB 是一个google实现的非常高效的kv数据库，是典型的LSM-tree的实现。leveldb是一个写性能十分优秀的存储引擎，是典型的LSM树(Log Structured-Merge Tree)实现。LSM树的核心思想就是放弃部分读的性能，换取最大的写入能力。LSM树写性能极高的原理，简单地来说就是尽量减少随机写的次数。对于每次写入操作，并不是直接将最新的数据驻留在磁盘中，而是将其拆分成：（1）一次日志文件的顺序写（2）一次内存中的数据插入。
【大数据】Doris 数据库与表操作语法实战详解
热门推荐
congge_study的博客
10-03 2万+
Doris 数据库与表操作语法实战详解
Replication--分区+复制
weixin_34034261的博客
01-15 123
1>配置订阅表使用分区，在发布的项目属性中设置"复制分区方案"和"复制索引分区方案"为true，然后初始化订阅 2>在发布数据库上修改发布属性 --将 @allow_partition_switch，设置为 true 时@publication ='ReplicationName',@property='allow_partition_switch',@value='true'-...
Data Partitioning Guidance
weixin_30872671的博客
02-03 195
在很多大规模的解决方案中，数据都是分成单独的分区，可以分别进行管理和访问的。而分割数据的策略必须仔细的斟酌才能够最大限度的提高效益，同时最大限度的减少不利影响。数据的分区可以极大的提升可扩展性，降低争用以及优化性能。 为何进行数据分区 绝大多数的云应用和云服务都会将存储和检索数据作为其业务的一部分。而应用所使用的数据仓库的设计对于系统的性能，吞吐，扩展性都有着非常重要的...
聊聊replication的方式
weixin_34344677的博客
10-23 554
序 本文主要聊一聊主流开源产品的replication方式。 replication replication和partition/sharding是分布式系统必备的两种能力。具体详见复制、分片和路由.对于海量数据来说，replication一方面可以增加冗余，保证系统可用性，一方面还可以提升读取的效率。本文主要聚焦于replication...
Kafka理论之Partition & Replication
Jaylon Wang的专栏
06-27 2332
Kafka理论之Partition & Replication 基于分区和副本集的相关知识，初步了解Kafka的数据存储、同步原理 Kafka基本架构 此图来源于朱小厮博客 　　上图为Kafka的典型架构图，对于消息的生产以及消费逻辑不在本文的讨论范畴，主要就Broker的数据存储做以浅显的总结。首先解释一下常见的相关专业术语： Broker：消息中间件处理节点；每个Kafka服务节点称之为一个Broker，一个Kafka集群由一个或多个Broker组成 Topic：一类..
软件工程导论
24考研人晴落的博客
04-02 1396
一、软件工程学概述软件工程选择题复习笔记一、软件工程学概述瀑布模型(快速)原型模型增量模型螺旋模型喷泉模型RUP敏捷过程极限编程微软过程二、可行性研究 （先定义问题）操作可行性是看用户能不能操作好这一个系统。三、需求分析（系统做什么）四、形式化说明技术 （需求说明方法）五、总体设计（怎么做）结构化设计方法一般也称为的设计，程序设计语言的基本成分是数据成分、运算成分、控制成分和（ 传输成分 ）。六、详细设计设计程序设计第一个体现结构化编程思想的程序设计语言是（Pascal语言。
Tutorial: Adaptive Replication and Partitioning in Data Systems
Syntactic Sugar
07-16 257
为了满足不断增长的应用需求，分布式数据系统跨多台机器复制和分区数据。复制通过在多台机器上分发数据副本来增加系统的资源和请求处理能力，而分区则跨机器分割数据以实现相同的目标。复制和分区在复制维护和多机协调成本方面存在不同的权衡，系统管理员必须仔细评估。传统上，管理员根据对应用程序工作负载的理解来做出复制和分区决策，如果系统配置错误或工作负载发生变化，则会导致性能不佳。然而，自适应地使用复制和分区的系统可以根据工作负载观察和预测来调整这些决策，从而提高性能并降低管理员的复杂性。...
在GaussDB中通过SQL语句创建和管理分区表：分布式数据库高性能实践
Oliviahome的博客
03-17 1133
在GaussDB中，分区表不仅是处理大数据的核心技术，更是构建高性能分布式系统的基石。通过本文的实践指南，读者应掌握：根据业务特征选择合适的 partitioning 策略设计自动扩展的分区生命周期管理方案实施细粒度的分区级性能优化构建分区数据监控与预警机制制定分区表灾备与恢复策略。
数据库领域：图数据库的分布式图处理
2502_91592937的博客
05-13 738
本文旨在全面解析分布式图数据库系统的设计原理和实现技术。分布式图数据存储模型图遍历算法的分布式实现大规模图数据的分区策略分布式图查询优化技术一致性模型与事务处理本文首先介绍图数据库的基本概念和分布式处理的必要性，然后深入探讨核心算法和系统架构。接着通过实际代码示例展示分布式图处理的具体实现，最后讨论实际应用场景和未来发展趋势。顶点(Vertex)：图中的基本元素，表示实体或对象边(Edge)：连接两个顶点的关系，可以是有向或无向的属性图(Property Graph)
20、Oracle数据库迁移：使用RMAN和GoldenGate
最新发布
delta的博客
07-01 141
本文详细介绍了如何使用RMAN进行表空间级别的备份与恢复，并结合Oracle GoldenGate实现从Oracle 11g R2数据库到Oracle 12c R1可插拔数据库的实时数据迁移。内容涵盖迁移环境配置、GoldenGate安装、Extract/Data Pump/Replicat进程配置、数据同步验证以及常见问题解决方案。通过RMAN与GoldenGate的结合，能够高效、安全地完成数据库升级和迁移任务。
分布式数据复制的三种方式
小龙在线
08-02 4531
把数据分布到多个节点上有两种常见的方式：复制（Replication）和分区(Partitioning)。现在主要讲下分布式数据复制。 将数据库分布到多台机器上，有多种原因： 可扩展性：数据量、读取负载、写入负载超过单台机器的处理能力。 容错/高可用：单台机器（或多台机器、网络或整个数据中心）出现故障的情况下，仍然能继续工作。多台机器可以提供冗余，一台出现故障，另一台可以接管。 延迟：每个用户可以...
分布式数据库选型——数据水平拆分方案
weixin_34284188的博客
06-18 623
概述 水平拆分的概念随着分布式数据库的推广已为大部分人熟知。分库分表、异构索引、小表广播、这些功能几乎是产品功能需求标配。然而有些客户使用分布式数据库后的体验不尽如意。本文尝试从数据的角度总结分布式数据的复制（replication）和分区（partition）技术原理和方案，其中分区也有称为分片（sharding），希望能引起读者一些思考，在分布式数据库选型中能注意这些细节的区别，选择适...
SERVICE_NAME, SID和schema区别
点点滴滴
10-08 1452
1. SID是Oracle实例名，实例名指的是用于响应某个数据库操作的数据库管理系统的名称。实例名是由初始化参数文件的参数instance_name决定的。如果这个参数不被指定(即instance_name没有被指定为任何值)，那么实例的名字由该用户的环境变量ORACLE_SID（注意这里是大写）决定。在windows平台下，则是注册表中oracle_sid值决定。SID是Oracle实例的唯一名
不用max函数返回表中最大值或者最小值
点点滴滴
02-26 1268
返回Test表中字段num的最大值或者最小值（不用Max函数）, 近为了好玩。：）   --返回最大值 select distinct num from Test where num not in ( select lesser.num from Test as greater,Test as lesser where lesser.num<greater.num)   --返...
synonym及数据库对象权限控制-随想
点点滴滴
09-21 651
用Synonym 同义词拥有如下好处：节省大量的数据库空间，对不同用户的操作同一张表没有多少差别;扩展的数据库的使用范围，能够在不同的数据库用户之间实现无缝交互;同义词可以创建在不同一个数据库服务器上，通过网络实现连接。
返回奇数行或者偶数行数据库表记录
点点滴滴
02-26 610
－－方法1用Decode函数 for even number of recordsselect*from emp where rowid in(select decode(mod(rownum,2),0,rowid) from emp);for odd number of recordsselect*from emp where rowid in(select decode(mod(rownum...
Oracle Concept - 读书笔记
点点滴滴
09-19 586
1. Transactions are one of the features that sets Oracle Database apart from
DB2数据库进阶学习完整教程
进阶内容会深入讲解表空间（Tablespace）类型（如 DMS、SMS、Automatic Storage）、缓冲池（Buffer Pool）配置、页大小设置、分区表（Partitioning）、多维集群（MDC）、范围分区、哈希分区等高级存储结构。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值