服务的拆分&数据的迁移

原创 已于 2025-03-23 21:47:00 修改 · 409 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#架构 #数据库 #运维

于 2025-03-20 23:21:38 首次发布

目录

服务拆分的原因

四种拆分方案对比

业务领域拆分法

变化频率拆分法

重要等级拆分法

并发度拆分法

拆分粒度控制

拆分标准

实践建议

常见的数据迁移方案

单体系统平滑迁移到微服务架构

灰度开关切换，无跨库事务，代码改动小，需短暂停服，需控制写入失败时间

进行服务拆分时，进行同步双写库表时，怎么保证数据一致性？怎么保证事务？

分布式事务

选型决策树

参考：

数据迁移调研

微服务拆分治理最佳实践

转转上门履约服务拆分库表迁移实践

分布式系统 - 分布式事务及实现方案 | Java 全栈知识体系

微服务拆分之道

面试官：你在项目的微服务拆分上，有什么心得吗？

服务拆分的原因

四种拆分方案对比

业务领域拆分法
  • 最常用方式，按业务模块划分
  • 示例：电商系统拆分为用户 / 商品 / 订单 / 物流等服务
  • 优势：职责清晰，符合业务逻辑
变化频率拆分法
  • 分离高频变更与稳定模块
  • 策略：高频模块细粒度拆分，稳定模块粗粒度
  • 目标：提升研发效率，降低维护成本
重要等级拆分法
  • 隔离核心业务与非核心业务
  • 实施要点：独立服务器、中间件、数据库
  • 适用场景：金融支付等关键链路
  • 注意：需评估 ROI，避免过度拆分
并发度拆分法
  • 分离高并发与普通业务
  • 示例：秒杀服务独立拆分
  • 优化手段：结合 MQ 削峰（如 Kafka）

拆分粒度控制

关键原则

  • 反对无限细分（Martin Fowler 观点）
  • 三个火枪手原则：建议由 3 人团队维护单个服务
  • 平衡维度：团队协作效率与系统复杂度

拆分标准

  1. 单一职责原则：每个服务专注单一业务领域
  2. 服务自治原则：独立开发 / 测试 / 部署 / 运行
  3. 可观察性原则：完善监控、日志、链路追踪
  4. 可复用性原则：提炼通用能力接口

最低0.47元/天 解锁文章
点滴~
关注
服务拆分与扩展策略：微服务架构的三维进化
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
12-25 171万+
本文探讨了微服务架构中的服务拆分与扩展策略，结合架构的轮回理论，分析了X、Y、Z轴扩展的应用场景与技术方案。通过AKF扩展立方体模型，详细阐述了如何通过服务复制、职责划分和数据分区等方法提升系统的可扩展性与灵活性。此外，文章介绍了两种常见的服务拆分策略：绞杀者模式和修缮者模式，并探讨了微服务架构的未来发展方向，包括边缘计算、事件驱动架构和服务网格的结合。旨在为架构师和开发者提供实践指导，帮助构建更加高效、稳定的微服务系统。
分库分表 & 数据迁移方案
08-08 617
不管是IO瓶颈，还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。 1、IO瓶颈 第一种：磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询时会产生大量的IO，降低查询速度 -> 分库和垂直分表 。 第二种：网络IO瓶颈，请求的数据太多，网络带宽不够 -> 分库 。 2、CPU瓶颈 第一种：SQL问题，如SQL中包含join，group by，order by，非索引字段条件查询等，增加CPU运算的操作 -> SQL优化，建立合适的索引
记一次业务系统拆分的数据迁移及系统切换事项
inaoen的专栏
05-01 1643
一.迁移背景 老系统使用商业化软件，同时包含模块较多，架构无法支撑，维护成本高等考虑，需要根据业务模块拆分多个系统，新系统支持水平扩缩容 ，rcp框架等，新系统基本上包含常用的技术栈（wildfly、mysql、mycat、redis、ehcache、mq、kafka、zookeeper、hive、spark、rpc、多活等）。老系统使用的db2，需要迁移50亿+数据。 数据迁移包括两步：1...
架构设计技巧——数据迁移与架构推导
jakeswang的博客
06-05 1247
数据迁移与架构演进是系统升级的核心挑战，二者必须协同设计。实现新架构落地保障业务连续性新架构的技术栈、数据模型存量数据结构、数据量、一致性要求数据库选型、服务拆分策略迁移窗口期、数据校验机制新系统无法正常运行业务数据丢失/错乱共享数据库解耦按领域拆分数据库定义服务边界（Bounded Context）跨服务数据一致性采用Saga分布式事务事件驱动架构设计历史数据归属划分数据所有权映射表+数据路由中间件服务发现机制扩展load data📌。
聊聊服务拆分与迁移
码猿技术专栏
07-18 294
Java指南：https://java-family.cn大家好，我是不才陈某~系统的复杂度，会随着业务的发展而越高。当业务发展到一定的阶段，原本单一的业务系统可能无法支撑或者出现瓶颈时，就需要对此进行重新规划和设计。最近就碰到这个问题，原本业务的下的一些子业务最近发展比较快速，经过大家的讨论后，决定将这些子业务重新规划，拆分出单独的业务系统，目的也是为了方便日后的迭代和扩展。具体情况具体分析，由...
微服务知识——微服务拆分规范
bjzhang75的博客
02-05 1436
微服务知识——微服务拆分规范
订单服务拆分库表迁移实践
abcafdsgr123456789的博客
05-13 1066
随着业务的不断发展，有些功能模块适合沉淀为通用的基础能力。作为通用基础能力，这些功能模块对服务的可用性和稳定性有较高要求。因此，将这部分功能模块拆分为一个独立的服务是一个较好的选择。为了更好地实现与业务服务的物理隔离，不仅需要在代码层面进行拆分，还需要在数据库层面进行拆分。在设计技术方案时，需要解决以下几个问题：迁移过程中是否允许停服？如果需要停服，如何尽量缩短停服时间窗口？如何将旧库表的数据迁移到新库？迁移后如何保证旧库表数据与新库表数据的一致性？
转转上门履约服务拆分库表迁移实践
zhuanzhuantech的博客
07-31 853
转转上门履约团队在服务拆分过程中数据迁移方案探讨以及实践。方案阐述了切换新旧库时关键操作步骤以及每个步骤需要注意的细节。
数据迁移
lzp158869557的博客
08-16 1830
1、数据迁移分类： 平迁：不需要调整表结构的数据迁移，即为了性能扩展需要从一台服务器迁移到另外一台服务器上，用数据库的导出导入或备份恢复工具处理即可，当然也要考虑迁移后的一些序列字段的初始值。 拆表迁移：数据迁移的过程中发生了拆表行为 垂直拆表：例如：1、增加附件管理以统一管理文件、图片、音频和视频的url地址等信息导致的拆表行为， 水平拆表：单表数据量达到千万级别时为了提高查询效率而将...
mysql数据迁移与同步常用解决方案总结
congge
05-10 7366
mysql数据迁移与同步常用解决方案总结
工业物联网架构：基于边缘计算的OEE数据采集与预处理实践
Robustel的博客
12-04 284
我们需要在网关配置工具中，建立从PLC Address (e.g., DB1.DBD0)到Gateway Tag (e.g., Spindle_Speed)的映射关系，并统一数据类型（Float/Integer）。这不仅降低了云平台的带宽和算力成本，更重要的是，它保证了OEE计算逻辑的实时性和可靠性，为上层应用提供了高质量的数据基座。重点解析如何通过边缘脚本实现数据的去抖、清洗与OEE因子（A/P/Q）预计算，并设计高效的MQTT Topic与Payload结构，实现OT与IT的深度融合。
Linux设备管理：从内核驱动到用户空间的完整架构解析
X
12-03 762
A[物理硬件插入/移除] --> B[内核驱动探测]B --> C{Linux统一设备模型 LDM}C --> D[在/sysfs创建对象]C --> E[发送uevent事件]D --> F[用户空间工具<br>lspci, lsusb等]E --> G[UDEV守护进程]G --> H[扫描规则库 /etc/udev/rules.d/]H --> I[匹配并执行规则]I --> J1[创建设备节点 /dev/]I --> J2[设置权限与所有权]I --> J3[执行自定义脚本]
Calico网络架构与实现深度解析（上）
最新发布
虽非技冠群英首，愿与同道共长歌； 大鹏一日同风起，扶摇直上九万里；
12-05 513
Calico网络架构与实现深度解析（上）
Transformer架构在大语言模型中的优化技术：原理、方法与前沿
alex1013999的博客
12-04 698
本文系统探讨了Transformer架构在大语言模型（LLM）中的优化技术。针对模型规模扩大带来的计算复杂度高、内存消耗大等挑战，文章从注意力机制优化（稀疏注意力、线性注意力、FlashAttention）、模型结构与参数优化（模型压缩、参数高效微调、混合专家模型）、训练策略优化（混合精度训练、分布式训练）及推理优化（键值缓存、量化推理、推测解码）等多个维度进行分析。这些技术通过降低计算和内存开销，显著提升了LLM的训练和推理效率，为模型的实际应用提供了关键支持。文章还展望了注意力机制改进、新型架构探索等前
V4L2架构与硬件适配全解析
weixin_44932366的博客
12-01 270
设备树正确配置：确保硬件连接描述准确时钟和电源管理：正确的上电序列和时钟配置中断处理：高效的帧完成中断处理DMA配置：零拷贝数据传输格式支持：正确实现所有支持的像素格式控制接口：曝光、白平衡等控制接口。
多级缓存架构与一致性核心挑战：基于Caffeine本地缓存、Redis分布式缓存与MySQL数据库的多级缓存数据一致性方案
天之道居同文。
12-01 1496
摘要：本文探讨了分布式系统中&quot;Caffeine+Redis+MySQL&quot;多级缓存架构的数据一致性问题，提出三种主流解决方案并进行对比分析。重点推荐Cache-Aside+延迟双删+广播通知的综合方案，详细展示了其在SpringBoot中的实现配置，包括Caffeine本地缓存、Redis二级缓存以及通过Pub/Sub实现的广播失效机制。文章还给出了业务层使用示例和高级优化建议，强调该方案在性能与一致性之间的平衡优势，适用于大多数高并发互联网场景。最终建议根据业务实际需求选择合适的一致性方
电子电气架构 --- MCU OTA备份升级优化及SOTA方案（下）
Soly_kun的博客
12-01 163
摘要：本文介绍了一种差分压缩备份SOTA升级方案，通过模块化动态编译、增量更新和数据压缩技术实现高速率升级，将升级包体积缩小99.5%。采用主备分区策略和压缩备份技术优化存储空间，配合多层回滚机制确保升级可靠性。同时构建全链路安全防护体系，通过加密传输和数字签名保障OTA安全。该方案在保证高可靠性的同时显著提升升级效率，使低端MCU也能实现安全高效的OTA升级。（149字）
量子操作系统：架构、挑战与未来展望
andeyeluguo的博客
12-01 120
随着量子计算从理论走向实践，构建能够有效管理和调度量子硬件资源的软件栈已成为该领域发展的关键瓶颈。作为连接量子硬件与上层应用的桥梁，量子操作系统（Quantum Operating System, QOS）的研究正日益受到学术界与工业界的关注。本文旨在对量子操作系统这一新兴领域进行全面的理论综述。我们首先阐述了量子操作系统的基本概念、核心目标及其与经典操作系统的根本性差异；其次，系统性地梳理了当前主流的量子操作系统架构范式，包括分层模型、微内核设计以及面向网络化量子节点的操作系统；
Java风控引擎选型对比与智能决策架构实战
天之道居同文。
12-02 926
摘要：本文系统分析了现代风控系统的技术演进与Java实现方案。针对数字化时代风控需求，对比了Drools、FlinkCEP、阿里Blink等主流Java风控引擎的核心指标（响应时间50ms-5ms，吞吐量1K-500K TPS）。提出混合架构方案，整合规则引擎、AI模型（逻辑回归/GBDT/神经网络）和贝叶斯决策网络，实现亚秒级响应、误报率&lt;5%的智能风控。详细阐述了包含实时规则层、模型推理层、决策整合层的三层架构实现，并给出性能优化（规则索引、模型蒸馏）和可解释性增强策略。最后指出联邦学习、图神经网
人力资源SaaS系统模块化拆分与数据迁移方案
03-27
好的，我现在需要帮助用户解决关于人力资源SaaS系统的模块化拆分方法和数据迁移方案的问题。首先，我要理解用户的需求。他们可能正在开发或重构一个HR SaaS系统，需要将系统拆分成模块，同时考虑数据迁移的最佳实践...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值