38、分布式系统中高效事务处理与日志预处理研究

分布式系统中高效事务处理与日志预处理研究

分布式事务内存系统的新突破

当前，多数分布式软件事务内存（Distributed Software Transactional Memory，简称分布式 STM）系统仍采用两阶段锁（2PL）并发控制算法。然而，该算法在事务并发处理上存在局限性。为解决这一问题，研究人员提出了依赖驱动架构（DDA）模型，首次在分布式 STM 中保证冲突可串行化（CS），从而提高了并发性能。但 DDA 在处理事务时，尤其是事务访问大量对象或存在高并发竞争时，会引入额外的时间开销。

为了更高效地确保冲突可串行化，研究人员提出了一种新的分布式 STM 系统——DDASTM。实验表明，DDASTM 在运行时开销方面表现出色，其加速比最高可达 5.38 倍。在假期基准测试中，除了每个节点使用一个线程执行的情况外，DDASTM 和 DDA 的中止率均低于 BaseDSTM。同时，与 DDA 方法相比，DDASTM 能避免冗余的执行时间和不必要的通信成本，对于高竞争或访问大量对象的事务，采用 CS 的分布式 STM 相对于采用 2PL 的分布式 STM，加速比可达 2.56 倍。

超大规模系统日志预处理的挑战与解决方案

随着系统规模和复杂度的迅速增长，传统的被动容错方法（如回滚恢复）已无法满足超大规模系统的可靠性需求。这些方法不仅执行开销大（占总处理成本的 15% - 50%），而且可扩展性差。因此，主动容错被认为是超大规模系统最重要的容错方法。

为了实现系统故障预测，研究人员提出了一种基于稀疏表示分类的系统日志预处理方法（SRCP）。该方法具有以下特点：
- 去除日志细节 ：采用