【转】数据库架构设计的三种模式 Shared Everthting、Shared Disk、Shared Nothing

无感平滑迁移:海量高并发数据库如何进行国产化改造? 第一是合适就好。其实大多数时候,集中式的数据库仍然是当前的一个最优解,如果你的数据可能只有几百G,甚至可能就两三个T,那么集中式数据库可能仍是当前最好的选择,因为你不需要去承担数据分片,还有这种各种的各样跨节点同步的耗时这样一系列的问题。第二是没有银弹,但不要指望用一种数据库去解决所有的问题。过去我们在用 Oracle 的时候,然后 Oracle 承担了太多不应该他承担的东西了。 阅读详情

Shared Everthting

一般是针对单个主机,完全透明共享CPU/MEMORY/IO,并行处理能力是最差的,典型的代表SQLServer。

Shared Disk

各个处理单元使用自己的私有 CPU和Memory,共享磁盘系统。典型的代表Oracle Rac, 它是数据共享,可通过增加节点来提高并行处理的能力,扩展能力较好。其类似于SMP(对称多处理)模式,但是当存储器接口达到饱和的时候,增加节点并不能获得更高的性能 。

Shared Nothing

各个处理单元都有自己私有的CPU/内存/硬盘等,不存在共享资源,类似于MPP(大规模并行处理)模式,各处理单元之间通过协议通信,并行处理和扩展能力更好。典型代表DB2 DPF和Hadoop ,各节点相互独立,各自处理自己的数据,处理后的结果可能向上层汇总或在节点间流转。

我们常说的 Sharding 其实就是Share Nothing架构,它是把某个表从物理存储上被水平分割,并分配给多台服务器(或多个实例),每台服务器可以独立工作,具备共同的schema,比如MySQL Proxy和Google的各种架构,只需增加服务器数就可以增加处理能力和容量。

Shared nothing架构(shared nothing architecture)是一 种分布式计算架构。这种架构中的每一个节点( node)都是独立、自给的,而且整个系统中没有单点竞争。

在一个纯Shared Nothing系统中,通过简单地增加一些廉价的计算机做为系统的节点却可以获取几乎无限的扩展。

Shared nothing系统通常需要将他的数据分布在多个节点的不同数据库中(不同的计算机处理不同的用户和查询)或者要求每个节点通过使用某些协调协议来保留它自己的应用程序数据备份 ,这通常被成为数据库Sharding。

思考:

这就是为什么现在MPP数据库都建议部署在物理机上的原因,使用虚拟化或者docker部署,可能CPU、内存、磁盘存在共享,尤其是磁盘,多台虚拟机落到一块盘上IO必然成为瓶颈。

MPP数据库简介及架构分析 MPP (Massively Parallel Processing),即大规模并行处理。简单来说,MPP是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起得到最终的结果(与Hadoop相似)。MPP数据库是一款 Shared Nothing架构的分布式并行结构化数据库集群,具备高性能、高可用、高扩展特性,可以为超大规模数据管理提供高性价比的通用计算平台,并广泛地用于支撑各类数据仓库系统、BI 系统和决策支持系统。 阅读详情

相关推荐

Mac无管理员权限安装NVM全攻略(附国内镜像加速)

本文详细介绍了在Mac电脑无管理员权限的情况下,如何通过Git克隆方式安装Node版本管理工具NVM,并配置国内镜像源以加速下载。攻略涵盖环境检查、安装步骤、Shell环境变量配置、镜像加速设置以及常用命令和常见问题解决方案,帮助开发者绕过权限限制,高效管理Node.js版本。

weixin_29296241的博客 487

三种数据库架构的介绍

从数据库架构设计的角度,主要有三种,Shared Everything、Shared Disk以及Shared Nothing。1.Shared Everything一般指的是单个主机的...

bisal的专栏 4777

基于python+mediapipe的手势拖动识别(无gpu)

手势点方块拖动

weixin_38029956的博客 5982

Shared Everything、share-nothing、Shared Disk区别

数据库构架设计中主要有Shared Everthting、Shared Nothing、和Shared Disk: Shared Ev...

csswx0923的博客 1068

告别Colmap!在ROS2 Humble上,用Fast-LIVO2直接为3D Gaussian Splatting准备数据全流程

本文详细介绍了在ROS2 Humble环境下,使用Fast-LIVO2为3D Gaussian Splatting(3DGS)准备数据的全流程。通过优化Fast-LIVO2配置、实时数据同步机制和3DGS训练参数,显著提升了三维重建效率和质量,相比传统Colmap流程节省95%以上的预处理时间。适用于Ubuntu22.04系统,适合机器人及自动驾驶领域的三维重建应用。

weixin_28688385的博客 585

AFSim 2.9实战指南:从入门到精通的中文教程

本文是AFSim 2.9的实战指南,提供从零开始的中文教程。内容涵盖仿真环境搭建、实体行为控制、脚本编写,到传感器、武器系统集成与复杂想定构建,最后讲解数据记录与结果分析方法,帮助用户快速掌握这一强大的军事仿真框架。

weixin_29281941的博客 943

Shared Everything和share-nothing区别

数据库构架设计中主要有Shared Everthting、Shared Nothing、和Shared Disk: Shared Everthting:一般是针对单个主机,完全透明共享CPU/MEMORY/IO,类似于SMP架构。并行处理能力是最差的,典型的代表SQLServer Shared Disk:各个处理单元共使用自己的私有 CPU和Memory,共享磁盘系统。典型的代表Ora

seteor的专栏 3万+

【车辆仿真】从0开始建立dSPACE RT Simulink工程:输出模拟电平

0基础建议先看下前面的博文,补充基础知识。原来的博文太长太复杂,后续我会逐步梳理改进,去除操作层面的内容,仅关注知识层面,提升系列博文的系统性。【工程环境信息】:上位机:惠普台式PC(Windows 11专业版)下位机(实时机):SCALEXIO RTPC板卡:DS2680。

winnizap的博客 2054

summary: share nothing architecture VS share everything architecture

1. share nothing architecture come from: http://blog.chinaunix.net/uid-27714502-id-3712684.html

晨风 1559

银河麒麟系统安装redis【亲测可行】

架构:Linux 5.10.0-9-generic x86_64 GNU/Linux。redis版本:redis-6.2.3.tar.gz。然后在执行make install,结束;OS:银河麒麟V10(SP1)未激活。cpu:I5-10代;

lx_nhs的博客 3332

告别ROS1!在Ubuntu 22.04上为VINS-Fusion适配ROS2 Humble的完整踩坑记录

本文详细记录了在Ubuntu 22.04上将VINS-Fusion从ROS1迁移到ROS2 Humble的完整过程,包括环境搭建、依赖管理、核心代码适配及性能优化。通过实战案例和调试技巧,帮助开发者高效解决迁移过程中的常见问题,提升系统稳定性和性能。

weixin_42628688的博客 280

三种数据库架构模式

用的是共享存储,做到了数据共享,可通过增加节点来提高并行处理的能力,扩展能力较好,使用Storage Area Network (SAN),光纤通道连接到多个服务器的磁盘阵列,降低网络消耗,提高数据读取的效率,常用于并发量较高的OLTP应用。,位于不同服务器系统的DM实例同时访问同一个数据库,节点之间通过私有网络进行通信,所有的控制文件、联机日志和数据文件存放在共享的设备上,能够被集群中的所有节点同时访问。,并行处理能力是最差的,一般不考虑大规模的并发需求,架构比较简单,一般的应用需求基本都能满足。

qq_37432174的博客 859

【YOLOv11工业级实战】22. YOLOv11动态蛇形卷积破解弯曲裂纹检测难题(附2小时部署代码)

摘要:本文聚焦工业场景中弯曲裂纹检测的核心痛点,针对风电叶片、织物纱线等曲线缺陷传统检测漏检率高的问题,提出基于动态蛇形卷积(DSC)的YOLOv11优化方案。因企业数据保密,采用AITEX织物缺陷库(含曲线纱线断裂标签)结合Blender物理仿真生成2000张弯曲裂纹数据,实现从数据准备到部署的全流程实操。通过将DSC模块插入YOLOv11 Neck层,弯曲裂纹召回率从68.1%提升至89.4%,mAP@0.5达83.7%,推理速度3.1ms(2080Ti)。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 1152

Shared Everthting、Shared Nothing、和Shared Disk

elasticsearch也是一种MPP架构的数据库,Presto、Impala等都是MPP engine,各节点不共享资源,每个executor可以独自完成数据的读取和计算,缺点在于怕stragglers,遇到后整个engine的性能下降到该straggler的能力,所谓木桶的短板,这也是为什么MPP架构不适合异构的机器,要求各节点配置一样。其采用shared nothing架构(MPP),主机,操作系统,内存,存储都是自我控制的,不存在共享。节点之间的信息交互是通过节点互联网络实现。

dabai521的博客 479

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Shared Everthting Shared Nothing Shared Disk

Shared Everthting Shared Nothing Shared Disk

firetaker的专栏 873

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Shared Nothing、Shared Everthting、Shared Disk

数据库构架设计中主要有Shared Everthting、Shared Nothing、和Shared Disk: 1.Shared Everything:一般是针对单个主机,完全透明共享CPU/MEMORY/IO,并行处理能力是最差的,典型的代表SQLServer以及一些用了单节点oracle、mysql等库的系统。以小微型,不需要考虑大并发业务的系统采用的居多。 2.Shared Nothin...

白非马的博客 1111

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

数据库构架设计中的Shared Everthting、Shared Nothing、和Shared Disk

Shared Everthting:一般是针对单个主机,完全透明共享CPU/MEMORY/IO,并行处理能力是最差的,典型的代表SQLServer Shared Disk:各个处理单元使用自己的私有 CPU和Memory,共享磁盘系统。典型的代表Oracle Rac, 它是数据共享,可通过增加节点来提高并行处理的能力,扩展能力较好。其类似于SMP(对称多处理)模式,但是当存储器接口达到饱和...

weixin_30640769的博客 468

分步式数据库构架设计中Shared Everthting、Shared Nothing、和Shared Disk:

1.Shared Everthting: 一般是针对单个主机,完全透明共享CPU/MEMORY/IO,并行处理能力是最差的,典型的代表SQLServer 2.Shared Disk 架构,如Oracle的RAC集群 Shared Disk架构如图1所示,所有的节点共享一份数据,优点是只要有一个节点可用,就可以访问所有数据;缺点是内存融合(cache fusion)大大限制了它的水平扩展能力。...

atzqtzq的博客 337

GreenPlum 大数据平台--介绍

一,GreenPlum   01,介绍:   Greenplum是一种基于PostgreSQL的分布式数据库,其采用shared-nothing架构,主机、操作系统、内存、存储都是自我控制的,不存在共享。   官方文档:>>>--大概内容如下 Greenplum Database是一个大规模并行处理(MPP)数据库服务器,其架构专门用于管理大规模分析数据仓库...

Z14523299999的博客 775

数据库架构设计的三种模式

参考文章:数据库架构设计的三种模式:share nothing , share everythong , share disk Share-Nothing架构原理 背景介绍 Share nothing理论在数据库设计和优化中的实践应用,首先介绍share nothing概念。最早接触它是在 DataBaseManagentSystem一书的并行数据库章节中。并行数据库要求尽可能的去并行执行数...

justlpf的专栏 2071

shared-disk与shared-nothing区别

shared-nothing: 数据以某种方式分区并分布在一组机器上,这意味着每台机器对其拥有的数据具有唯一的访问权限,也是有唯一的责任。因此数据时完全隔离的,每个节点对其特定子集具有完全权限。 shared-disk: 与shared-nothing相比,shared-disk的所有数据都可以冲所有集群节点访问。任何机器都可以读取或写入希望的任何数据部分。 如图: 理解writing的权衡 在...

q936889811的博客 4383

share-nothing、share-memory、share-disk的原理

首先介绍share nothing概念。最早接触它是在 DataBaseManagentSystem一书的并行数据库章节中。   并行数据库要求尽可能的去并行执行数据库操作,从而提高性能。在并行计算体系结构实现中有很多可选的体系结构。包括:   share-memory:多个cpu共享同一片内存,cpu之间通过内部通讯机制(interconnection network)进行通讯;   sh...

a8131357leo的博客 2191

分布式数据库理论

分布式两阶段锁(Distributed Two-Phase Locking,D2PL)是一种分布式事务的并发控制协议,它基于两阶段锁(Two-Phase Locking,2PL)的原理,将锁的管理和释放分为两个阶段进行。在第一个阶段,称为增长阶段(Growing Phase),事务可以根据需要获取不同节点上的数据对象的锁,但不能释放任何锁。分布式两阶段锁的实现需要一个全局的锁管理器(Lock Manager),它负责维护所有节点上的数据对象的锁状态和请求队列,并根据一定的策略分配和释放锁。

weixin_47895938的博客 787

数据库架构设计:Shared Everything,Shared Disk, Shared Nothing

一、Shared Everthting 单个主机,透明共享CPU/内存/IO,并行能力差。 代表:SQL Server,单机版Oracle,MySQL。不考虑大规模并发。 二、Shared Disk (分布式数据库) 处理单元使用自己的私有CPU/内存,共享磁盘系统。类似SMP模式。多用于并发比较多的OLTP业务。 数据共享,增加节点提高并行处理的能力,扩展能力较好。当存储器接口饱和的时...

ICT产业论坛 2562
上一篇: 【数据结构】02_平衡二叉树到底是个什么玩意儿?
github_38410229
博客等级 码龄10年 2粉丝 5原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值