- 博客(65)
- 收藏
- 关注
原创 用RDMA重新思考有状态流处理
流处理是一种数据处理技术,用于收集、存储和管理持续产生或接收的数据流。数据流是一系列按时间顺序排列的事件,例如传感器数据、支付交易、服务器日志等。流处理引擎是一种软件系统,可以对数据流进行实时或近实时的分析、转换、聚合或其他操作。流处理的应用场景非常广泛,例如物联网、金融服务、网络安全、社交媒体、电子商务等。流处理可以帮助企业及时发现异常、优化决策、提高效率和用户体验。
2023-06-13 00:01:39
931
原创 【论文十问】基于Drools的业务规则引擎管理系统应用研究
如何设计一个基于Drools的业务规则引擎管理系统?如何提高基于Drools的业务规则引擎管理系统的性能和可扩展性?
2023-06-07 19:53:07
945
原创 Drools 规则引擎原理
从“频繁且通用”的业务变化中抽象出来的中间服务层,实现了将决策逻辑从应用代码中分离出来,并使用预定义的高级语法或者可视化的工具编写业务规则并自动优化执行。规则引擎具体执行可以分为接受数据输入,高效解释业务规则,根据业务规则输出决策结果几个过程。Drools规则引擎是一种基于规则的方法,用于在Drools软件中实现专家系统。规则引擎提供了专家系统,这是一种基于知识的系统,可以帮助你做出决策,比如做什么和怎么做。它将知识收集到一个知识库中,可以用于推理。
2023-06-07 19:46:18
4434
原创 增强复制状态机的两阶段提交协议
两阶段提交 (2PC) 是一种分布式算法,其中希望对服务进行提交的进程首先需要确保参与的对等方已准备好进行提交操作。在我们的研究中,我们通过提前中止状态机的状态执行来增强复制状态机环境的 2PC,以防更高优先级的状态机检查提交要写入的值。通过应用我们的方法,当副本数量超过 3 时,与经典 2PC 相比,我们的方法浪费的状态执行次数要少得多。
2022-11-27 21:00:39
976
原创 2.5PC:一个更快的非阻塞原子提交协议
我们提出 2.5PC,一种非阻塞原子提交协议。2.5PC 是 3PC 的修改版,用于具有可靠网络通道的同步设置。2.5PC 等待与 2PC 相同数量的消息延迟,同时在非完全失败的情况下也是非阻塞的。我们提供了 2.5PC 正确性的非正式证明,并使用 Dafny 正式证明了 2.5PC 在正常运行期间的安全性。尽管 2.5PC 依赖于不切实际的网络设置,但 2.5PC 的证明改进了当前对非阻塞原子提交协议的理解。使用这种理解,我们展示了对 3PC 的实际改进,关于 3PC 第三阶段 ACK 消息的协调器超时延
2022-11-18 00:34:26
913
原创 使用区块链的非阻塞两阶段提交
尽管 2 阶段提交协议 (2PC) 仍然是分布式数据库管理的核心,但即使分布式系统保证了最苛刻的同步或与时间相关的要求,它也有一个可证明不可避免的阻塞漏洞。本文研究了通过使用支持执行用户定义的智能合约的区块链协调 2PC 来消除该漏洞。它表明,如果区块链也满足同步要求,则可以以适度的事务成本消除 2PC 阻塞。否则,尽管区块链是一个可靠的状态机,但消除 2PC 阻塞很可能是不可能的,这取决于托管数据库的集群是否同步。在不可能的情况下,实际后果并不那么严重:不必要的中止发生的概率很小。
2022-11-13 17:31:08
735
原创 使用区块链的两阶段提交
我们创建了一个去中心化系统,该系统使用公共区块链作为两阶段提交 (2PC) 协调器,因此用户可以在任何支持我们接口的数据库中安全地提交原子事务。用户将我们的系统视为一个带有 ACID 的大型数据库,尽管它由许多不知道彼此存在的独立数据库组成。通过使用区块链作为协调器,它可以抵御网络中断、断电和磁盘故障等导致传统 2PC 实现阻塞的故障。我们最初的集成是与以太坊区块链和 LMDB 数据库;但是,我们的系统提供了一个通用接口来与其他区块链和数据库集成。
2022-11-09 23:02:35
835
原创 关于在并行快照隔离中读取更新鲜的快照
快照隔离 (SI) [1] 是一种广泛采用的一致性级别,在构建事务系统 [3]、[4] 时,通常用作可串行化 [2] 的实用替代方案,这是并发控制实现的黄金标准标准。提供 SI 的并发控制显着提高了可序列化并发控制的并发级别和性能,因为它允许多个事务访问同一组共享对象的执行,只要它们的写入对象组是不相交的。SI 的一大优点是,即使在执行期间读取(所谓的读取快照)和未写入的一组值已被并发事务 [1] 覆盖,事务也不应中止。
2022-10-30 23:35:32
450
原创 变更数据捕获和实时数据仓库框架
传统上,数据仓库不包含今天的数据,即最新数据。它们通常加载来自操作系统的数据。无论地理位置或业务行业如何,期望在正确的时间以正确的格式将准确和可信的信息传递给正确的人是很重要的。由于传统数据仓库缺乏实时更新,因此需要实时数据仓库。实时数据仓库通常描述实时反映业务的系统。当我们必须非常迅速地做出决定时,访问实时数据是几乎每个公司的关键考虑因素之一。根据过时的数据做出战略决策可能会产生错误的结果。随着当今商业世界的决策变得更加实时,支持这些决策的系统需要跟上。
2022-10-30 00:59:29
793
原创 分布式数据库系统中的并发控制
数据库是处理组织活动的一组数据。DDB 是一种允许通过相同或通用语言对数据进行分散管理的方案。并发控制处理以多用户方式协调对数据库的并发访问的问题。锁定是一种用于控制对数据的并发访问的方法。锁定是一个具有与之关联的数据项的变量。它是项目的状态,它说明可能适用于它的所有操作。对于数据库中的每个项目,一个锁可用。锁被用作同步并发事务对数据库项的访问的一种手段。一些提供并发操作的算法是锁相、时间戳、多模型时间戳和许多其他算法。
2022-10-29 23:04:53
894
原创 使用变更数据捕获方法通过提取-转换-加载过程实时更新数据仓库
数据存储和处理与组织实现了新的维度,为管理提供了高度依赖客户信息的服务。应用程序依赖于对大数据的分析,从而帮助面向最终用户的日常数据服务。另一方面,维护和处理数据库的费用仍然更加严格。为了克服这个问题,已经开发了具有大规模可扩展性的数据库。ETL 工具用于将数据存储到数据仓库中。通过 ETL 工具集成数据分为三个阶段:提取,应用于异构数据类型的源,转换,提供高质量的数据,最后将数据加载到仓库存储库。任何数据仓库的开发过程都是被授予的,工作流程不应影响正在使用的操作/企业/事务数据源的性能。
2022-10-29 23:03:15
1367
原创 分布式并发控制中时间戳排序算法与本地计数器同步的改进方法
论文翻译:An Advanced Approach of Local Counter Synchronization to Timestamp Ordering Algorithm in Distributed Concurrency Control
2022-10-23 23:15:25
519
原创 分布式数据库中的并发控制方法:回顾与比较
论文翻译:Concurrency Control Methods in Distributed Database: A Review and Comparison(分布式数据库中的并发控制方法:回顾与比较)
2022-10-21 00:05:18
882
原创 【论文十问】内存事务中并发控制协议研究综述
论文十问:内存事务中并发控制协议研究综述DOI:10.7544/issn1000G1239.20210231
2022-10-18 22:31:59
846
原创 【论文十问】在不同数据结构中实现变更数据捕获方法以支持实时数据仓库的实验结果
论文十问:Experimental results on change data capture methods implementation in different data structures to support real-time data warehouse(在不同数据结构中实现变更数据捕获方法以支持实时数据仓库的实验结果)
2022-10-16 18:11:10
671
原创 在不同数据结构中实现变更数据捕获方法以支持实时数据仓库的实验结果
论文翻译:在不同数据结构中实现变更数据捕获方法以支持实时数据仓库的实验结果Experimental results on change data capture methods implementation in different data structures to support real-time data warehouse
2022-10-16 17:55:05
933
原创 【数据库】从系统架构上描述 OceanBase 的高可用与容灾
本文不同于上一篇文章,而是从系统架构上描述 OceanBase 的高可用与容灾。
2022-06-07 19:08:31
3590
原创 【数据库】一个简单的查询语句在数据库系统中如何被处理?
本文介绍了一个简单的查询语句在数据库系统中如何被处理,以及关系数据库架构中各组件在这其中又是如何合作分工的。
2022-05-24 16:11:43
162
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人