使用双异步后，如何保证数据一致性？

最新推荐文章于 2024-07-24 10:35:29 发布
最新推荐文章于 2024-07-24 10:35:29 发布
阅读量1.7k 收藏 35
点赞数 28
CC 4.0 BY-SA版权
分类专栏： 100天精通Java从入门到就业 文章标签： java 高并发 异步 线程池 学习
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/guorui_java/article/details/135705565
本文探讨在使用双异步处理数据时如何保证数据一致性，通过分析FutureTask的源码，解释如何通过Future获取异步线程的返回值，并讨论在获取结果时可能遇到的问题及解决方案，旨在理解Java并发编程中如何实现数据一致性。

在这里插入图片描述

目录

大家好，我是哪吒。

一、前情提要

在上一篇文章中，我们通过双异步的方式导入了10万行的Excel，有个小伙伴在评论区问我，如何保证插入后数据的一致性呢？

很简单，通过对比Excel文件行数和入库数量是否相等即可。

那么，如何获取异步线程的返回值呢？

在这里插入图片描述

二、通过Future获取异步返回值

我们可以通过给异步方法添加Future返回值的方式获取结果。

FutureTask 除了实现 Future 接口外，还实现了 Runnable 接口。因此，FutureTask 可以交给 Executor 执行，也可以由调用线程直接执行FutureTask.run(）。

1、FutureTask 是基于 AbstractQueuedSynchronizer实现的

了解本专栏 订阅专栏 解锁全文
27_如何保证缓存与数据库双写时的数据一致性？.zip
09-09
总结来说，保证缓存与数据库双写时的数据一致性是一个复杂的问题，需要根据具体业务场景选择合适的策略。这可能包括：写穿透、两阶段提交、缓存失效、读修复等方法，同时考虑CAP理论的权衡。在实现过程中，还需要...
【架构】Excel导入数据使用双异步后，从 191s 优化到 2s
wjianwei666的专栏
02-05 1185
大数据量Excel的数据快速导入数据库中，优化策略和实施方案，在大数据量Excel数据导入数据库时，我们需要考虑数据量、数据结构、导入效率以及数据一致性等因素。下面是一些适用于大数据量Excel数据快速导入数据库的策略： 分批导入：将大数据量的Excel文件分成多个小文件，然后分别将这些小文件导入数据库。这种方式可以有效降低单次导入的数据量，提高导入效率。 异步快速读取Excel文件：使用合适的数据库客户端工具或者编写程序代码，快速读取Excel文件中的数据。
异步并发保持数据一致性
十年饮冰，难凉热血
12-30 5245
问题背景：项目中不断切换界面的过程中网络异步请求【耗时操作】，但是数据并未加载完成，此时界面中触碰事件时候，直接崩掉【频率低但存在】。 解决思路：监听异步操作完成后才让界面上的按钮可以响应单击【触碰】事件，数据在加载完成前，界面上的按钮触碰事件都应该被屏蔽掉。
在异步更新数据库时，如何保证数据的一直性
weixin_30846599的博客
09-08 603
在游戏服务器开发时，考虑到数据更新的性能问题，好多数据都不使用外键约束，每张表采用异步更新的方式，追求最级的一致性，但是这样做会导致数据的完整性受到影响，比如在游戏中，花了500钻石买了一个装备，钻石扣了，这时系统挂了，导致装备没有给我，这就让人受不了，只能通过客服手动找回。 还有种自动的解决方法，就是给每次数据同步更新添加一个版本号，每次所有数据都更新完了，版本加一，这个版本号对于单...
同步异步中的一致性
mojolang
03-05 1282
简述一致性中关于同步与异步环境下的共识理论 （##转载请注明） 　　共识问题：可称作协作，所有正确的进程对提议的值达成一致。分布式系统中，节点之间通过通信，对请求达成一致的定序。 　　问题定义：进程Pi处于未决状态（undecideed），提议集合D中的某个值Vi。进程之间相互通信，交换各自的提议。每个进程设置自己的决定变量（decision variable），进入决定状态（decided）...
Java多线程数据库事务提交控制
JohnChen(Net)
08-28 6614
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、循环操作的代码 二、使用事务的操作代码 三、尝试多线程进行数据修改 四、为多线程提交添加事务控制 总结 前言 公司业务中遇到一个需求，需要同时修改最多约5万条数据，而且还不支持批量或异步修改操作。循环操作耗时太长，为提高效率我进行了下面这个测试，具体操作如下： 一、循环操作的代码 /*** * 一条一条依次对50000条数据进行更新操作 * ...
Excel大数据导入使用双异步后，如何保证数据一致性？
abcafdsgr123456789的博客
07-24 1075
Excel大数据导入使用双异步后，如何保证数据一致性？
面试题：如何保证缓存与数据库双写时的数据一致性？
qq_45283095的博客
05-18 726
背景：使用到缓存，无论是本地内存做缓存还是使用 Redis 做缓存，那么就会存在数据同步的问题，因为配置信息缓存在内存中，而内存时无法感知到数据在数据库的修改。这样就会造成数据库中的数据与缓存中数据不一致的问题。 共有四种方案： 先更新数据库，后更新缓存 先更新缓存，后更新数据库 先删除缓存，后更新数据库 先更新数据库，后删除缓存 第一种和第二种方案，没有人使用的，因为第一种方案存在问题是：并发更新数据库场景下，会将脏数据刷到缓存。 第二种方案存在的问题是：如果先更新缓存成功，但是数据库更新失败，则肯定
JAVA面试题分享三百五十一：使用双异步后，如何保证数据一致性？
之乎者也·的博客
01-26 1057
AbstractQueuedSynchronizer简称AQS，它是一个同步框架，它提供通用机制来原子性管理同步状态、阻塞和唤醒线程，以及 维护被阻塞线程的队列。基于 AQS 实现的同步器包括：ReentrantLock、Semaphore、ReentrantReadWriteLock、 CountDownLatch 和 FutureTask。基于 AQS实现的同步器包含两种操作：acquire，阻塞调用线程，直到AQS的状态允许这个线程继续执行，在FutureTask中，get()就是这个方法；
Java中的数据一致性设计与实现
微赚淘客系统开发者博客
07-23 1766
在分布式系统中，数据一致性是至关重要的，因为它确保在系统的不同部分之间数据的准确性和一致性。为了实现数据一致性，我们需要理解和应用不同的一致性模型和技术。在Java中实现数据一致性涉及多种策略和技术，选择合适的一致性模型取决于应用的需求和场景。强一致性可以通过分布式数据库和分布式事务管理器实现，最终一致性通过异步复制和补偿事务实现，而读写一致性通过缓存和数据库事务隔离级别实现。了解这些模型和技术，可以帮助开发者在设计系统时做出更合适的选择，确保系统在不同场景下的稳定性和数据一致性。
使用双异步后，从 191s 优化到 2s
学Java，找哪吒
12-25 2610
华为OD机试 2023B卷题库疯狂收录中，刷题。
超好用的excel异步导入导出组件
a807719447的专栏
08-27 5222
1、asyncexcel基于阿里的easyexcel包装，抽取异步骨架，不改变easyexcel的特性2、有个小坑就是@excelproperty注解的index无法使用了，所以编写excel model的时候需要注意编写顺序需要于excel中的表头顺序一致。......
前后端双向异步
m0_57479908的博客
12-01 965
AJAX和SpringMVC双向异步完成信息实时更新 文章目录 前言 一、前后端双向异步是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 前后端双向异步的作用于实时更新数据，比如打车，外卖这种小程序，时刻提示订单 本章就介绍了前后端双向异步的写法 提示：以下是本篇文章正文内容，下面案例可供参考 一、前后端双向异步是什么？ 其实就是AJAX和SpringMVC的异步操作，AJAX定时器去后端取Redis...
ElasticSearch - 在 微服务项目 中基于 RabbitMQ 实现 ES 和 MySQL 数据异步同步（考点）
CYK_byte的博客
09-29 2711
微服务 架构的项目上，不同的业务往往会在不同的微服务上，比如 “商品数据管理业务” 和 “商品数据搜索业务” 肯定会在两个不同的微服务上，那么跨微服务的项目就没办法直接操作了.
浅谈微服务异步解决方案
qq_21305943的专栏
08-01 1417
在软件设计领域， 异步和同步是一对孪生的设计思想同步是一种阻塞式且有严格执行时序的设计思想， 必须一件一件事做， 等前一件做完了才能做下一件事。异步则是一种非阻塞的设计思想， 可以同时做多件事，没有严格的执行顺序。同步调用方（客户端）在请求发起后会一直阻塞并等待被调用方（服务端）返回响应结果，且仅当调用方获取响应结果后才会继续或终止执行。例如近期较为常见的『核酸采样亭』虽然采样亭内有多人协作，但是为了保证采样人管一致， 核酸采样队伍就是顺序行进的， 前一个没有录入完，也不会继续下一位。异步。
Excel导入导出设计
sinat_34814635的博客
07-27 631
一、poi 有三种解析方式： 1、eventmodel方式，基于事件驱动,SAX的方式解析excel（.xlsx是基于OOXML的），CPU和内存消耗非常低，但是只能读不能写，塔式应用程序一边读取数据，一边处理数据。 2、usermodel，就是我们一般使用的方式，这种方式可以读可以写，但是CPU和内存消耗非常大 3、SXSSF，POI3.8以后开始支持，这种方式只能写excel @see http://www.cnblogs.com/tootwo2/p/6683143.html HSSF .
如何解决系统的一致性问题
langsiming的博客
01-10 1194
数据一致性方案
异步任务使用场景与实践
weixin_41866717的博客
06-20 1703
任务执行一般耗时较长，中断可能性高，比如任务在执行过程中有上线行为，则该任务必须被强制打断（虽然有优雅下线的处理方式，但是任务执行时长是不可预知的，所以一般直接打断）。打断后重启执行需要保证上次执行没处理完的任务接续执行，不会因为任务打断导致任务数据不可重试。单机调度情况下不一定是串行执行的，任务执行时长可能大于调度间隔，仍然存在并发修改数据问题，这里任务组件可配置【丢弃执行】【排队等待】等阻塞策略，任务处理通常需要批量查询/变更表数据，最好加batchSize限制单次任务执行的数量，减少单次任务耗时。
挂载后怎么保证数据一致性？
最新发布
10-23
<think>我们之前讨论了如何配置Neo4j与达梦数据库的挂载。现在用户关心的是挂载后的数据一致性问题。 用户问题：如何保证达梦数据库挂载后的数据一致性？ 注意：这里的数据一致性是指Neo4j与达梦数据库之间的数据一致性。因为两者是异构数据库，且通常挂载后可能用于数据同步或联合查询，所以需要保证两边数据的一致。 解决方案可以从以下几个方面考虑： 1. 实时同步：通过数据库的CDC（变更数据捕获）机制，实时将达梦数据库的变更同步到Neo4j。 2. 定期全量同步：设定时间窗口，定期将达梦数据库的全量数据同步到Neo4j。 3. 事务性同步：在应用层控制，将数据变更同时写入两个数据库（分布式事务或本地事务+可靠消息）。 4. 使用中间件：通过消息队列解耦，保证最终一致性。 由于Neo4j和达梦数据库之间没有内置的同步机制，我们需要借助外部工具或自定义开发。 具体方法： 一、实时同步（CDC） - 使用达梦数据库的日志解析工具（如DMHS，达梦数据实时同步软件）捕获变更事件。 - 将变更事件转换为Neo4j的Cypher语句，然后通过Neo4j的驱动执行。 - 优点：实时性高；缺点：架构复杂，需要额外组件。 二、定期全量同步 - 使用APOC扩展中的jdbc过程定期从达梦数据库拉取全量数据，然后更新Neo4j。 - 步骤： 1. 使用`apoc.load.jdbc`从达梦读取数据。 2. 使用Cypher语句将数据转换为图结构（节点和关系）。 3. 使用MERGE或CREATE操作更新图。 - 注意：全量同步可能消耗大量资源，需在低峰期进行。 三、双写模式（应用层保证） - 在业务代码中，当操作达梦数据库时，同时操作Neo4j。 - 问题：分布式事务问题（两个数据库事务难以保证强一致）。 - 解决方案： - 使用本地事务+异步重试（最终一致性）。 - 使用分布式事务框架（如Seata），但支持度需要验证。 四、基于消息队列的最终一致性 - 应用在修改达梦数据库后，发送消息到消息队列（如Kafka）。 - 消费者从消息队列获取消息，更新Neo4j。 - 优点：解耦，可靠；缺点：延迟。 五、使用数据同步工具 - 如Flink CDC，Canal等，但这些工具对达梦的支持需要确认。 建议： - 如果对实时性要求高，推荐使用达梦自带的DMHS进行CDC同步。 - 如果数据量不大且实时性要求不高，可使用APOC定期同步。 注意事项： - 同步过程中注意处理数据冲突（如唯一性约束）。 - 考虑性能影响，尤其是全量同步时避免影响线上服务。 具体实现示例（定期全量同步）： 1. 在Neo4j中创建唯一性约束（确保节点唯一）： ```cypher CREATE CONSTRAINT unique_user_id ON (u:User) ASSERT u.id IS UNIQUE; ``` 2. 编写同步脚本（Cypher）： ```cypher CALL apoc.load.jdbc('jdbc:dameng://host:port/db?user=xxx&password=xxx', 'SELECT id, name FROM user') YIELD row MERGE (u:User {id: row.id}) SET u.name = row.name; ``` 3. 使用Neo4j定时任务（如APOC的定时过程）或外部调度系统（如cron）定期执行。 实时同步示例（使用DMHS）： 1. 配置DMHS捕获达梦数据库的变更。 2. 编写转换程序，将变更事件转换为Cypher（例如：插入事件转为CREATE，更新事件转为SET，删除事件转为DELETE）。 3. 将Cypher语句发送到Neo4j执行（通过Bolt协议）。 数据一致性监控： - 定期比较两个数据库的数据（校验和或抽样对比）。 由于达梦数据库是关系型数据库，而Neo4j是图数据库，数据模型转换需要注意： - 实体表通常转换为节点。 - 关系表转换为关系（或节点+关系）。 - 根据业务需求设计图模型。 结论： 根据业务场景选择合适的一致性策略，并辅以监控和校验机制。 相关问题： 1. 如何实现达梦数据库到Neo4j的实时增量同步？ 2. 使用APOC同步全量数据时如何避免Neo4j服务不可用？ 3. 双写模式下如何保证分布式事务的一致性？ 4. 数据同步过程中出现冲突如何解决？ </think>### 达梦数据库挂载后保证数据一致性的方法 在Neo4j与达梦数据库挂载场景下，保证数据一致性需采用以下策略： --- #### 1. **事务同步机制** - **双阶段提交（2PC）** 在应用层实现分布式事务控制，确保两个数据库同时提交或回滚： ```java // 伪代码示例 try { dameng.startTransaction(); // 启动达梦事务 neo4j.startTransaction(); // 启动Neo4j事务 dameng.execute(SQL); // 达梦数据操作 neo4j.execute(Cypher); // Neo4j图数据操作 dameng.commit(); // 阶段1：预提交 neo4j.commit(); // 阶段2：提交 } catch (Exception e) { dameng.rollback(); // 任一失败则回滚 neo4j.rollback(); } ``` - **适用场景**：强一致性要求的金融交易系统[^1]。 --- #### 2. **变更数据捕获（CDC）** - **实时增量同步** 使用达梦数据库的日志解析工具（如DMHS）捕获变更，通过消息队列同步到Neo4j： ```mermaid graph LR A[达梦数据库] -->|Binlog| B(DMHS解析器) B -->|变更事件| C[Kafka] C --> D[Neo4j消费端] D -->|APOC过程| E[Neo4j] ``` - **配置要点**： - 启用达梦归档日志：`ALTER DATABASE ADD ARCHIVELOG;` - 使用APOC的`apoc.periodic.commit`周期性消费Kafka消息 - 同步延迟控制在毫秒级[^2] --- #### 3. **校验与修复策略** - **数据校验框架** 周期性执行跨库数据验证： ```cypher CALL apoc.load.jdbc('dameng', 'SELECT id FROM orders') YIELD row AS damengRow MATCH (o:Order {id: damengRow.id}) WHERE o.amount <> damengRow.amount RETURN o.id AS InconsistentID ``` - **自动修复流程**： 1. 标记不一致数据 2. 触发二次同步任务 3. 告警通知人工干预 --- #### 4. **最终一致性模式** - **异步补偿机制** 适合高并发场景的最终一致性方案： ```python def async_sync(data): save_to_neo4j(data) # 优先操作图数据库 queue.push(data) # 数据入队 worker = Thread(target=dameng_consumer) worker.start() # 异步到达梦 def dameng_consumer(): while data = queue.pop(): retry_save_to_dameng(data, max_retries=3) ``` - **优势**：避免分布式事务性能瓶颈[^3] --- #### 关键建议 1. **一致性级别选择** - 强一致性：金融系统用2PC（性能损失约20-30%） - 弱一致性：物联网用CDC+重试（吞吐量提升3-5倍） 2. **冲突解决规则** - 时间戳优先：取最新更新时间的数据 - 业务规则优先：如以订单系统的金额为准 3. **监控指标** - 同步延迟：`dameng_log_time - neo4j_update_time < 100ms` - 错误率：`sync_failure_count / total_ops < 0.1%` > **注意**：达梦与Neo4j的数据模型差异需在同步前完成： > - 达梦表 → Neo4j节点/关系 > - 外键约束 → 图关系 > - 数值类型精确映射（如达梦的`DECIMAL(18,2)`→Neo4j的`Float`）
评论 14
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

哪 吒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值