微服务之间的数据依赖问题,该如何解决?

面试题:微服务之间的数据依赖问题,该如何解决? 微服务,顾名思义,就是将我们程序拆分为最小化单元来提供服务。在一体化系统中,各个微服务也是不可能独立存在的,那么微服务之间涉及到的数据依赖问题,应该怎么处理呢?我们从场景入手来分析考虑此类问题。这里我们探讨了服务间的数据依赖问题,并给出了目前较为合适的解决方案。其实这里提到的方案不是一个很大众的方案,肯定会存在一些遗漏的问题没考虑,如果你有更好的方案,欢迎讨论。 阅读详情
AI摘要

文章讨论了在供应链系统中,商品、订单和采购服务之间的数据冗余和同步问题。初期方案导致了性能下降和服务间的依赖。后来采用数据冗余方案,通过消息中间件(如Bifrost)实现数据同步,减少了商品服务的压力,但引入了新的挑战。最终的解耦业务逻辑的数据同步方案是将商品相关表实时同步到依赖服务的数据库,减轻存储负担并提高查询效率。文章提到了开源中间件的对比,并介绍了使用Bifrost的原因和效果。

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:网络


曾经设计的一个供应链系统中,存在商品 、销售订单 、采购 这三个服务,它们的主数据的部分结构如下所示:

商品 :

ID名称分类型号生产年份编码






订单和子订单 :

订单ID下单时间客户总金额子订单ID商品ID单价数量








采购单和子订单 :

采购单ID下单时间供应商总金额采购子订单ID商品ID单价数量








在设计这个供应链系统时,我们需要满足以下两个需求:

  • 根据商品的型号/分类/生成年份/编码 等查找订单;

  • 根据商品的型号/分类/生成年份/编码 等查找采购订单。

初期我们的方案是这样设计的:严格按照的微服务划分原则将商品相关的职责存放在商品系统中。因此,在查询订单与采购单时,如果查询字段包含商品字段,我们需要按照如下顺序进行查询:

  • 先根据商品字段调用商品的服务,然后返回匹配的商品信息;

  • 在订单或采购单中,通过 IN 语句匹配商品 ID,再关联查询对应的单据。

为了方便理解这个过程,订单查询流程图如下图所示:

601a82e33a0bcf00798807d66ee58380.png

初期方案设计完后,很快我们就遇到了一系列问题:

  • 随着商品数量的增多,匹配的商品越来越多,于是订单服务中包含 IN 语句的查询效率越来越慢

  • 商品作为一个核心服务,依赖它的服务越来越多,同时随着商品数据量的增长,商品服务已不堪重负,响应速度也变慢,还存在请求超时 的情况

  • 由于商品服务超时,相关服务处理请求经常失败。

结果就是业务方每次查询订单或采购单时,只要带上了商品这个关键字,查询效率就会很慢而且老是失败。于是,我们重新想了一个新方案——数据冗余 ,下面我们一起来看下。

1、数据冗余的方案

数据冗余说白了就是在订单、采购单中保存一些商品字段 信息。

为了方便理解,我们借助上面实际业务场景具体说明下,看看两者的区别。

商品 :

ID名称分类ID型号生产年份ID编码






订单和子订单 :

订单ID下单时间客户总金额



子订单ID商品ID单价数量商品名称商品分类ID商品型号生产批次ID

采购单和子订单 :

采购单ID下单时间供应商总金额



采购子订单ID商品ID单价数量商品名称商品分类ID商品型号生产批次ID

调整架构方案后,每次查询时,我们就可以不再依赖商品服务了 。

但是,如果商品进行了更新,我们如何同步冗余的数据呢?在此分享2种 解决办法。

  1. 每次更新商品时,先调用订单与采购服务,再更新商品的冗余数据。

  2. 每次更新商品时,先发布一条消息,订单与采购服务各自订阅这条消息后,再各自更新商品冗余数据。

那么这2种方案会出现哪些问题呢?

如果商品服务每次更新商品都要调用订单与采购服务,然后再更新冗余数据,则会出现以下两种问题。

  • 数据一致性问题 :如果订单与采购的冗余数据更新失败了,整个操作都需要回滚。这时商品服务的开发人员肯定不乐意,因为冗余数据不是商品服务的核心需求,不能因为边缘流程阻断了自身的核心流程。

  • 依赖问题 :从职责来说,商品服务应该只关注商品本身,但是现在商品还需要调用订单与采购服务。而且,依赖商品这个核心服务的服务实在是太多了,也就导致后续商品服务每次更新商品时,都需要调用更新订单冗余数据、更新采购冗余数据、更新门店库存冗余数据、更新运营冗余数据等一大堆服务。那么商品到底是下游服务还是上游服务?还能不能安心当底层核心服务?

因此,第一个解决办法直接被我们否决了,即我们采取的第二个解决办法——通过消息发布订阅的方案 ,因为它存在如下 2 点 优势:

  • 商品无须调用其他服务,它只需要关注自身逻辑即可,顶多多生成一条消息送到 MQ 。

  • 如果订单、采购等服务的更新冗余数据失败了,我们使用消息重试机制 就可以了,最终能保证数据的一致性。

此时,我们的架构方案如下图所示:

25d85f32698f615c81bc65aecf995e3d.png

这个方案看起来已经挺完美了,而且市面上基本也是这么做的,不过该方案存在如下几个问题。

1、在这个方案中,仅仅保存冗余数据还远远不够,我们还需要将商品分类与生产批号的清单进行关联查询。也就是说,每个服务不只是订阅商品变更这一种消息,还需要订阅商品分类、商品生产批号变更等消息。下面请注意查看订单表结构的红色加粗部分内容。

订单ID下单时间客户总金额



子订单ID商品ID单价数量商品名称商品分类ID商品型号生产批次ID

以上只是列举了一部分的结构,事实上,商品表中还有很多字段存在冗余,比如保修类型、包换类型等。为了更新这些冗余数据,采购服务与订单服务往往需要订阅近十种消息,因此,我们基本上需要把商品的一小半逻辑复制过来。

2、每个依赖的服务需要重复实现冗余数据更新同步的逻辑。前面我们讲了采购、订单及其他服务都需要依赖商品数据,因此每个服务需要将冗余数据的订阅、更新逻辑做一遍,最终重复的代码就会很多。

3、MQ 消息类型太多了:联调时最麻烦的是 MQ 之间的联动,如果是接口联调还好说,因为调用哪个服务器的接口相对可控而且比较好追溯;如果是消息联调就比较麻烦,因为我们常常不知道某条消息被哪台服务节点消费了,为了让特定的服务器消费特定的消息,我们就需要临时改动双方的代码。不过联调完成后,我们经常忘了改回原代码。

为此,我们不希望针对冗余数据这种非核心需求出现如此多的问题,最终决定使用一个特别的同步冗余数据方案,接下来我们进一步说明。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

2、解耦业务逻辑的数据同步方案

解耦业务逻辑的数据同步方案的设计思路是这样的:

  • 将商品及商品相关的一些表(比如分类表、生产批号表、保修类型、包换类型等)实时同步到需要依赖使用它们的服务的数据库,并且保持表结构不变;

  • 在查询采购、订单等服务时,直接关联同步过来的商品相关表;

  • 不允许采购、订单等服务修改商品相关表。

此时,整个方案的架构如下图所示:

60f080affd2e804bf791c5a2bc0e2393.png

以上方案就能轻松解决如下两个问题:

  • 商品无须依赖其他服务,如果其他服务的冗余数据同步失败,它也不需要回滚自身的流程;

  • 采购、订单等服务无须关注冗余数据的同步。

不过,该方案的“缺点 ”是增加了订单、采购等数据库的存储空间(因为增加了商品相关表)。

仔细计算后,我们发现之前数据冗余的方案中每个订单都需要保存一份商品的冗余数据,假设订单总数是 N,商品总数是 M,而 N 一般远远大于 M。因此,在之前数据冗余的方案中,N 条订单就会产生 N 条商品的冗余数据。相比之下,解耦业务逻辑的数据同步方案更省空间,因为只增加了 M 条商品的数据。

此时问题又来了,如何实时同步相关表的数据呢?

我们直接找一个现成的开源中间件就可以了,不过它需要满足支持实时同步、支持增量同步、不用写业务逻辑、支持 MySQL 之间同步、活跃度高这五点要求。

根据这五点要求,我们在市面上找了一圈,发现了 Canal 、Debezium 、DataX 、Databus 、Flinkx 、Bifrost 这几款开源中间件,它们之间的区别如下表所示:

b576a705f23f2cb55db2d8718f37bc61.png

从对比表中来看,比较贴近我们需求的开源中间件是 Bifrost ,原因如下:

  1. 它的界面管理不错;

  2. 它的架构比较简单,出现问题后,我们可以自行调查,之后就算作者不维护了也可以自我维护,相对比较可控。

  3. 作者更新活跃;

  4. 自带监控报警功能。

因此,最终我们使用了 Bifrost 开源中间件,此时整个方案的架构如下图所示:

aedcef61e80ec87d7ab7d9e91ccb7d4d.png

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

3、最终效果

整个架构方案上线后,商品数据的同步还算比较稳定,此时商品服务的开发人员只需要关注自身逻辑,无须再关注使用数据的人。如果需要关联使用商品数据的订单,采购服务的开发人员也无须关注商品数据的同步问题,只需要在查询时加上关联语句即可,实现了双赢。

然而,唯一让我们担心的是 Bifrost 不支持集群,没法保障高可用性。不过,到目前为止,它还没有出现宕机的情况,反而是那些部署多台节点负载均衡的后台服务常常会出现宕机。

最终,我们总算解决了服务之间数据依赖的问题。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

7898aab9561a3bb7d864b3c9d148f00f.png

已在知识星球更新源码解析如下:

ecd9b52385db8c0fac1936c85ca12860.jpeg

825cc0fe6aaa0310fcf8bf69bd70a7a1.jpeg

e79585cd302f6837b4f9fb8f1e7fb708.jpeg

7e656de539aa022382bebb1ac96c4253.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
Java 微服务之间的数据依赖问题解决方案 消息队列:利用消息队列进行异步通信。:使用API网关统一处理请求。事件驱动:通过发布订阅模型实现事件通知。数据库事务:在某些情况下,可以考虑跨服务的分布式事务。通过上面的例子,我们看到了如何使用消息队列和API Gateway来解决微服务之间的数据依赖问题。这两种方法各有优劣,可以根据实际需求选择适合的方式。好啦,今天的分享就到这里。我们下次再见!👋🏻。 阅读详情

相关推荐

Python入门之机器学习(非常详细)篇幅拉满,一般人看不完!

什么是机器学习?监督学习 supervised learning;非监督学习 unsupervised learning;半监督学习 semi-supervised learning;强化学习 reinforcement learning;监督学习是不断向计算机提供数据(特征),并告诉计算机对应的值(标签),最后通过大量的数据,让计算机自己学会判断和识别。例如Google Photo,你在APP中输入狗,这时就会弹出与狗相关的图片,这背后使用的算法就是监督学习。

xiaolinyui的博客 2万+

ddd模型的pom版本怎么管理_领域驱动设计(DDD)-简单落地

一、序言 领域驱动设计是一种解决业务复杂性的设计思想,不是一种标准规则的解决方法。在本文中的实战示例可能会与常见的DDD规则方法不太一样,是简单、入门级别,新手可以快速实践版的DDD。如果不熟悉DDD设计思想可看下Ebiubiu:领域驱动设计(DDD)-基础思想​zhuanlan.zhihu.com二、设计阶段 领域建模设计阶段常见的方法有 四色建模法、EventSourcing等,本...

weixin_40003451的博客 318

Win64 驱动内核编程-16.WFP网络监控驱动(防火墙)

WFP驱动监控网络 WFP是微软推出来替代TDIHOOK、NDISHOOK等拦截网络通信的方案,WFP的框架非常庞大,在RING3和RING0各有一套类似的函数,令人兴奋的是,即使在R3使用WFP,也可以做到全局拦截访问网络。由于WFP的范围太广,实在难以一言概括,感...

墨鱼菜鸡 1033

Spring Event + DDD = 王炸!!

点击上方“芋道源码”,选择“设为星标”管她前浪,还是后浪?能浪的浪,才是好浪!每天 10:33更新文章,每天掉亿点点头发...源码精品专栏原创 | Java 2021超神之路,很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析消息中间件 RocketMQ 源码解析数据库中间件 Sharding-JDBC 和 MyCAT 源码解析作业调度中间件 E...

芋艿V 353

ChatGPT Plus完整开通指南:从账号注册到稳定使用全流程

自然语言处理(NLP)技术通过深度学习模型实现对人类语言的理解与生成,其核心原理是基于Transformer架构的大规模预训练。GPT-4作为当前最先进的生成式AI模型,在代码编写、文档分析等场景展现出显著的技术价值。在实际应用中,稳定的网络环境和合规的支付方式是确保AI助手持续服务的关键因素。针对ChatGPT Plus的开通,需要系统性地解决账号验证、虚拟信用卡支付等工程实践问题,才能实现工作流的高效整合。

weixin_34239592的博客 431

麦克斯韦电磁场理论

1)从知识先后上说:麦克斯韦方程组为理解光的传播、反射、折射等现象提供了理论基础。不理解基础,怎么能理解上层建筑。2)从如何学懂上说,把基础学习的越牢,越深刻,后续学习上层建筑就会水到渠成一些,不会越学越多疑问。而是越学越少疑问。

weixin_55255438的博客 2828

《柒柒架构》DDD领域驱动设计--事件驱动

《柒柒架构》DDD领域驱动设计--事件驱动前言事件驱动-定义Spring实现的事件驱动小结事件驱动实体结果处理小结小结 前言 前面我们讲完了领域层的相关概念以及实现,相信大家已经对DDD领域层的概念已经有一定的了解了。领域层要完成核心的业务逻辑,是DDD中最核心的部分。 下面我们要开始讲应用层。 应用层处于领域层之上,是介于用户接口层到领域层之间很薄的一层,本身应用层不做具体的业务逻辑,业务逻辑均被封装到了领域层 应用层仅作业务逻辑的编排,组装多个限界上下文的聚合及聚合服务 事件驱动的入口配置 ACL防腐

well410410的博客 1408

OpenAI,从推出更强大的Sora 2模型展开探索与未来发展前景+部署方法大全+文末邀请码*12

摘要 OpenAI推出的Sora 2是第二代AI视频生成模型,在多模态内容生成领域实现重大突破。文末足足有12个邀请码,速来速享!!!

aqfcca的博客 2252

微服务maven公共版本、私服、依赖管理

前言 关于微服务的公共依赖模块的抽取、统一版本管理、统一私服配置等,尝试了多种方案,整理优化了多次,分享一下。 期望达到的效果: 1、统一的三方库版本管理 2、统一的私服配置(上传、下载、下载插件) 3、springcloud springalibaba springboot 版本依赖管理统一配置 正文 单独建一个common的maven工程,内部生成一个core module。 核心就两块,一块是最外层的 common-parent(pom artifacId的名字),一块是内层的common 关系

fly7632785的专栏 2203

ESP32接入扣子(Coze) API使用自定义智能体

本示例将使用ESP32开发板通过WiFi接入 **Coze API**,实现一个简单的聊天机器人功能。用户可以通过串口向机器人输入问题,ESP32将通过Coze API与智能体进行通信,并返回对应的回复。本文将详细介绍了如何通过HTTP请求和JSON解析来与API进行交互,并给出完整的代码示例。

宁子希的博客 1万+

AI Agent开发第85课-DeepSeek-OCR 安装全指南:从 Transformers 到 vLLM,手把手教你跑通企业级 OCR

本文系统讲解 DeepSeek-OCR 的两种部署方式——基于 Hugging Face Transformers 的标准推理与基于 vLLM 的高性能加速推理。详细说明 CUDA 与 PyTorch 版本匹配、环境验证、依赖安装等关键细节,并提供可直接运行的完整代码示例。无论你是单卡调试还是高并发服务部署,都能在这里找到清晰路径。

打造全国最全的AI Agent开发知识领域的博客 2543

微服务之间的数据依赖问题,你知道怎么解决吗

微服务,顾名思义,就是将我们程序拆分为最小化单元来提供服务。在一体化系统中,各个微服务也是不可能独立存在的,那么微服务之间涉及到的数据依赖问题,应该怎么处理呢?我们从场景入手来分析考虑此类问题。 一、场景 在一个供应链系统中,存在商品、销售订单、采购三个微服务,他们的主数据部分数据结构如下: 商品: ID 名称 分类 型号 生产年份 编码 订单和子订单: 订单ID 下单时间 客户 总金额 子订单ID 商品ID 单价 数量 采购单和子订单: 采购单ID 下单时间 供应商 总

我爱娃哈哈的专栏 2838

在 TASKPROCESSING 上为 ABAP OData 服务添加多个系统别名:从原理到落地的完整实践

本文面向SAP Gateway与ABAP开发者,详细讲解如何在TASKPROCESSING OData服务上添加系统别名。首先介绍了系统别名的概念与设计初衷,阐述了添加别名的业务场景需求,包括多系统接入、用户分流和灰度发布等。随后提供了标准配置步骤,从SPRO路径到具体操作说明,并分享了三个实际案例说明如何实现跨区域统一待办、按用户角色分流和灰度发布。最后给出了验证方法和常见问题解决方案,帮助开发者掌握这项基础但关键的配置技能,实现服务路由的可控管理。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 138

解决微服务之间的数据依赖问题

更多内容关注微信公众号:fullstack888微服务,顾名思义,就是将我们程序拆分为最小化单元来提供服务。在一体化系统中,各个微服务也是不可能独立存在的,那么微服务之间涉及到的数据依赖问题,应该怎么处理呢?我们从场景入手来分析考虑此类问题。一、场景在一个供应链系统中,存在商品、销售订单、采购三个微服务,他们的主数据部分数据结构如下:商品:订单和子订单:采购单和子订单:在设计这个供应链系统时,我们...

qianshanding0708的博客 306

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

面试官:微服务之间的数据依赖问题,该如何解决?

而且,依赖商品这个核心服务的服务实在是太多了,也就导致后续商品服务每次更新商品时,都需要调用更新订单冗余数据、更新采购冗余数据、更新门店库存冗余数据、更新运营冗余数据等一大堆服务。仔细计算后,我们发现之前数据冗余的方案中每个订单都需要保存一份商品的冗余数据,假设订单总数是 N,商品总数是 M,而 N 一般远远大于 M。于是,我们重新想了一个新方案——数据冗余,下面我们一起来看下。商品作为一个核心服务,依赖它的服务越来越多,同时随着商品数据量的增长,商品服务已不堪重负,响应速度也变慢,还存在请求超时的情况;

2401_85910670的博客 1236

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

上一篇: 当 Redis 碰上 @Transactional,有大坑,要注意!
下一篇: 2万字带你入门DDD
公众号-芋道源码
博客等级 码龄10年 1638粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值