【成为架构师3-13】数据库:水平切分,数据库秒级扩容

PostgreSQL开源协议与国产数据库自主创新路径深度解析 最近几年,国产数据库市场风起云涌,各种“自主可控”、“国产替代”的声音不绝于耳。作为一名长期关注数据库技术发展的开发者,我经常被问到:“某某国产数据库是不是就是 PostgreSQL 的‘套壳’?” 或者 “基于开源数据库二次开发,到底算不算自主可控?” 这些问题背后,反映的是大家对技术本质和产业发展的深度关切。 本文将围绕 PostgreSQL(简称 PG)这一开源数据库的“根技术”,深入探讨其技术特性、开源协议,以及它与中国数据库产业发展的深刻联系。我们会从技术、商业、生态等多个维度,分析“套壳”与“自 阅读详情

系列文章是博主对沈剑的《架构师训练营》分享内容的个人笔记总结,原内容公众号“成为架构师”。

回顾

追日志方案:

  1. 服务升级,记录“数据修改”日志
  2. 迁移数据小工具,进行数据迁移
  3. 追日志小工具,追平数据差异
  4. 数据校验小工具,检验数据一致性
  5. 切流量到新库,完成平滑迁移

双写方案:

  1. 服务升级,“数据修改”双写
  2. 迁移数据小工具,进行数据迁移
  3. 数据校验小工具,检验数据一致性
  4. 切流量到新库,完成平滑迁移

两种方案都需求:服务升级,专门的小工具

服务屏蔽数据库复杂性

数据库高可用,虚IP,keepalived

通过水平切分,扩充数据量,增加实例个数

总体而言,互联网微服务的数据库架构是这样的:
在这里插入图片描述
有服务层屏蔽底层复杂性,有高可用,又有水平切分。

这时候,随着数据量的不断增大,我们需求持续的扩展,也就落到了秒级扩容的水平切分方案上。

水平切分

这个水平切分方案是根据取模和成倍扩容给出的

步骤一:修改配置

在这里插入图片描述
修改配置主要是两个点:

PolarDB-X国产分布式数据库选型实战指南 分布式数据库是支撑高并发、强一致、可扩展业务系统的底层基石,其核心围绕CAP权衡、分片架构、事务模型与SQL兼容性展开。PolarDB-X作为面向金融与信创场景的原生分布式数据库,以CN/DN/GMS三层解耦架构实现计算存储分离,并依托GTS全局时间戳保障跨节点强一致性,显著区别于TiDB的AP倾向或OceanBase的资源密集型CP设计。它在复杂SQL执行优化、MySQL生态平滑迁移、混合负载支持及运维自动化方面具备工程落地优势,特别适用于QPS超5万、需替代Oracle/MySQL分库分表、且强调事务确 阅读详情

相关推荐

基于数据编织理念,构建自动化异构数据治理平台的实战指南

在数据驱动的业务环境中,数据治理是确保数据资产价值得以释放的关键环节。其核心原理在于通过系统化的方法,对数据的可用性、完整性、安全性和一致性进行管理。随着企业数据架构日益复杂,数据分散在MySQL、Hive、对象存储等多种异构系统中,传统依赖人工的治理模式面临巨大挑战,难以应对元数据散落、数据发现困难等问题。数据编织作为一种新兴的架构框架,其技术价值在于通过构建全局知识图谱和引入主动元数据管理,能够自动化地连接、发现和治理这些分散的数据资产。它本质上是一个覆盖在异构数据源之上的“智能网络”,旨在实现数据的自

weixin_34341117的博客 516

开源AI落地实战:可审计、可扩展、可交付的模型即基础设施

开源AI已超越‘免费替代品’范畴,成为具备输入输出主权、迭代节奏主权与数据闭环主权的新一代人工智能范式。其核心在于模型可审计性与本地化推理能力,支撑金融风控、医疗影像、政务知识图谱等高合规场景的稳定上线。技术价值体现在对模型行为的全程可观测、可干预、可验证,依托Llama3、Qwen2等基础模型,结合llama.cpp、TGI、LoRA等开源工具链,实现从开发调试到生产部署的全栈可控。本文聚焦工程落地中的硬件选型、量化决策、审计日志注入与幻觉治理等关键实践,为技术决策者与算法工程师提供可复用的开源AI系统构

weixin_30345577的博客 319

69个网络架构技术知识点大全

惊群效应也有人叫做雷鸣群体效应,不过叫什么,简言之,惊群现象就是多进程(多线程)在同时阻塞等待同一个事件的时候(休眠状态),如果等待的这个事件发生,那么他就会唤醒等待的所有进程(或者线程),但是最终却只可能有一个进程(线程)获得这个时间的“控制权”,对该事件进行处理,而其他进程(线程)获取“控制权”失败,只能重新进入休眠状态,这种现象和性能浪费就叫做惊群。一般来说系统的吞吐量是可以被测算的,为了保证系统的稳定运行,一旦达到的需要限制的阈值,就需要限制流量并采取一些措施以完成限制流量的目的。

2401_84264630的博客 1099

腾讯云智能顾问:游戏架构主动治理与成本性能优化实战

在云原生与微服务架构成为主流的今天,如何有效治理复杂的技术架构、保障系统稳定性并优化成本,是每一位开发者和运维工程师面临的核心挑战。其原理在于通过持续监控、关联分析与规则引擎,将海量运维数据转化为可执行的洞察。这项技术的核心价值在于推动运维模式从“被动救火”转向“主动防御”,实现降本增效与风险前移。典型的应用场景包括资源利用率优化、性能瓶颈定位、安全合规加固与高可用架构构建。本文以游戏行业为例,深入剖析如何借助腾讯云智能顾问这一“架构治理专家系统”,通过自动化扫描与AI分析,系统性解决资源闲置、配置漂移、性

weixin_30908941的博客 419

机器学习模型上线:从Jupyter到生产环境的工程化落地

机器学习模型部署不是简单封装为API,而是将算法嵌入真实业务系统的过程。其核心在于理解模型推理、特征服务、基础设施与合规流程之间的耦合关系。在支付风控、信贷审批等高敏场景中,90%的线上问题源于数据漂移、特征延迟、服务熔断或决策审计缺失,而非模型本身性能不足。因此,构建可监控、可降级、可回溯、可审计的ML系统,已成为MLOps实践的关键能力。本文聚焦模型上线后的稳定性保障、失败剧本设计、延迟分解优化及实时漂移检测等工程实操方法,覆盖从特征获取到决策输出的全链路可靠性建设。

weixin_30458043的博客 553

门诊病历智能生成系统架构:从语音采集到EMR回写完整链路

语音识别(ASR)与大语言模型(LLM)的结合正在重塑医疗信息化的交互模式。通过流式语音转写、医学名词纠错和检索增强生成(RAG),系统能够将医患对话实时转化为结构化文本。其核心原理在于利用规则引擎与语义校验双重质控,确保生成内容符合病历规范。技术价值在于降低医生录入负担,提升门诊效率,同时通过私有化部署和全链路审计满足医疗数据合规要求。在门诊高峰期并发场景下,系统需与企业EMR系统无缝对接,实现草稿确认后的一键回写。本文基于系统架构视角,完整拆解从语音采集、会话管理、病历生成引擎到质控、EMR回写的工程化

weixin_33851177的博客 593

GNN图数据增强与开源分布式应用实战

图神经网络(GNN)正从判别式模型转向生成式引擎,成为图结构数据增强的核心技术;其消息传递机制天然建模节点特征与拓扑结构的强耦合关系,可精准合成符合业务分布的高质量子图。相比传统随机扰动或表格类增强方法,GNN驱动的条件生成在FID等指标上实现数量级提升,并支撑反洗钱、设备预测等高价值场景。结合Ray、DGL、MinIO等开源组件构建解耦式增强Pipeline,能有效应对分布式训练中的资源错配、序列化瓶颈与扩展性挑战,真正实现‘小样本→大供给→高并发’的AI工程闭环。

weixin_34319817的博客 423

HBase在大数据领域金融数据处理中的应用

金融行业作为数据密集型领域,面临日均千亿级交易记录、毫秒级响应要求、严格合规性监管等挑战。传统关系型数据库在扩展性、吞吐量和成本上难以满足需求,而HBase作为基于Hadoop的分布式列式存储系统,具备线性扩展、高并发读写、自动分片等特性,成为金融数据处理的核心技术之一。本文聚焦HBase在金融场景中的核心应用,包括实时交易处理、风险监控、客户画像分析等,涵盖架构设计、数据模型优化、性能调优与实战案例,帮助技术人员掌握HBase在金融领域的落地实践。背景与核心概念。

AI云原生与云计算技术学院 658

Ubuntu零基础入门到精通【3.2讲】:安装 Ubuntu Server:从零开始到生产就绪的完整实战指南

🏆 本文收录于 《滚雪球学 Ubuntu》 专栏。 本专栏面向有一定计算机基础,但尚未系统学习 Linux / Ubuntu 的读者,采用“滚雪球式学习法”:先装好、再会用、再理解、再优化、再实战,带你从第一次进入 Ubuntu 桌面 / 终端开始,逐步掌握 Ubuntu 的日常使用、命令操作、软件安装、系统配置、开发环境搭建与服务器部署能力。

**My Coding Family** 3282

新手入门机器学习案例(附源代码)

无

guguo666的博客 6656

STM32开发工具链选型:MDK、CubeIDE、VSCode与IAR深度对比

嵌入式开发工具链是连接软件逻辑与硬件行为的核心枢纽,其选择直接影响代码可靠性、调试效率与量产稳定性。从编译器优化能力、调试协议支持(如ARM CoreSight、SWO)、硬件抽象层级(寄存器/LL/HAL)到跨平台构建能力,不同工具在实时性保障、静态分析合规性(如MISRA-C)、WCET可预测性及生态开放度上存在本质差异。尤其在STM32平台,Keil MDK凭借深度调试能力成为HardFault定位首选,STM32CubeIDE依托图形化配置加速外设初始化,而VSCode+PlatformIO则以LS

weixin_42602368的博客 429

【抓包工具】Windows 10/11:Charles 从零到精通(下载、安装、配置与HTTPS证书实战)

本文提供了一份详尽的Charles抓包工具在Windows 10/11系统上的从零到精通指南。内容涵盖下载安装、初始配置、解决端口冲突,并重点解析了HTTPS抓包的核心步骤——安装CA证书。此外,还介绍了手机抓包配置及映射、断点等高效使用技巧,帮助开发者和测试人员快速掌握网络调试与安全分析技能。

weixin_29251131的博客 551

matlab球面投影(二)

matlab球面投影,想做一个全景相机,不知道,要做成啥样,于是在MATLAB先仿真一下,看下是个啥样子 百度别人做的,复制下面的代码到MATLAB的命令串口下,,网上找了张全景图,可以是bmp,jpg,改程序就可以了 回车运行就可以看到结果。 复制下面代码时,下面的中文注释记得删除,MATLAB是会报错的, close all; clear all; clc [x,y,z]=sphere(50); A=imread('a.JPG'); //名字是自己命名的,记得改 B=warp(x,y,-z,

rjszcb的博客 3161

4D Gaussian Splatting for Real-Time Dynamic Scene Rendering-4DGS阅读笔记

为了实现实时动态场景渲染,同时还能具备较高的训练和存储效率,作者提出了四维高斯溅射(4D-GS)方法,将其作为动态场景的一种整体表示方式,而不是对每个单独的帧应用三维高斯溅射(3D-GS)方法。在 4D-GS 中,提出了一种新颖的显式表示方法,它同时包含三维高斯模型和四维神经体素。受 HexPlane 启发,提出了一种分解的神经体素编码算法,以高效地从四维神经体素构建高斯特征,然后应用一个轻量级多层感知器(MLP)来预测在新时间戳下的高斯变形。

2403_85515624的博客 2343

DeepSeek 在 PostgreSQL 中,执行 `DELETE` 操作后,数据占用的空间并不会立即释放给操作系统

操作后,数据占用的空间并不会立即释放给操作系统。这是 PostgreSQL 的 MVCC(多版本并发控制)机制决定的——删除的数据只是被标记为“死元组”,物理空间仍然被表占用。这是最彻底的释放方式,会将表重写为一个没有空洞的新文件,将空间返回给操作系统。如果你的表非常大(如几百GB),或者这是生产环境的核心表,建议优先考虑。你可以告诉我你的表大概多大、是否能接受锁表,我可以给你更精确的建议。要真正释放空间,需要根据你的实际需求,从以下三种方案中选择一种。如果你既想彻底释放空间,又无法接受锁表,

m0_37843156的博客 404

Openclaw 附录B 常用Skills清单

核心作用支持URL、网页、PDF、图片、音频和YouTube视频的摘要与字幕提取,由OpenClaw创始人@steipete开发的官方内置Skill。安装⚠️说明:原推荐的summarize未在ClawHub验证到,YouTube字幕提取功能已内置于summarize中。使用场景“提取这个2小时Next.js教程视频的核心代码逻辑,按章节整理成学习笔记”推荐指数:⭐⭐⭐⭐。

Maynor的博客 857

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

上一篇: 【成为架构师3-12】数据库:扩展性,平滑扩展如何实现
下一篇: 【成为架构师3-14】缓存:进程内缓存该怎么玩
Nevercome_
博客等级 码龄9年 27粉丝 66原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值