Apache Ignite原生持久化存储深度解析-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00708/article/details/148524554

Apache Ignite原生持久化存储深度解析

ignite Apache Ignite 项目地址: https://gitcode.com/gh_mirrors/ignite15/ignite

概述

Apache Ignite的原生持久化(Native Persistence)是一套将内存与磁盘存储完美结合的分布式存储解决方案。它允许Ignite节点在保持内存级性能的同时，将所有数据持久化到磁盘上，实现了数据的可靠存储与快速访问的统一。

核心设计理念

原生持久化的核心设计遵循"内存作为磁盘缓存"的架构思想：

全量磁盘存储：所有数据都会持久化到磁盘文件
智能内存缓存：根据内存容量自动缓存热点数据
分布式存储：每个节点只存储分配给它的数据分区(包括备份分区)

这种设计既保证了数据安全性，又通过内存缓存提供了高性能访问。

核心组件

1. 数据分区存储

Ignite将每个数据分区存储在独立的磁盘文件中，文件格式与内存中数据格式完全一致。这种设计使得：

数据加载时无需格式转换
磁盘I/O效率最大化
支持快速故障恢复

2. 预写日志(WAL)

WAL是保证数据一致性的关键组件，其工作流程如下：

所有数据修改操作首先被记录到WAL
操作完成后才返回客户端确认
内存中的脏页异步刷新到数据文件

WAL支持多种模式，适应不同场景需求：

| 模式 | 数据安全性 | 性能 | 适用场景 | |------|----------|------|----------| | FSYNC | 最高(崩溃不丢数据) | 最低 | 金融交易等关键业务 | | LOG_ONLY(默认) | 高(进程崩溃不丢数据) | 中 | 大多数业务场景 | | BACKGROUND | 较低 | 高 | 批量导入等非关键操作 | | NONE | 无保证 | 最高 | 临时数据或测试环境 |

3. 检查点(Checkpointing)

检查点是将内存中的脏页同步到磁盘数据文件的过程，具有以下特点：

周期性自动执行
减少恢复时需要重放的WAL日志量
采用后台线程执行，不影响正常操作

配置指南

启用原生持久化

通过XML配置启用默认数据区域的原生持久化：

<bean class="org.apache.ignite.configuration.IgniteConfiguration">
    <property name="dataStorageConfiguration">
        <bean class="org.apache.ignite.configuration.DataStorageConfiguration">
            <property name="defaultDataRegionConfiguration">
                <bean class="org.apache.ignite.configuration.DataRegionConfiguration">
                    <property name="persistenceEnabled" value="true"/>
                </bean>
            </property>
        </bean>
    </property>
</bean>

存储路径配置

Ignite默认使用以下目录结构：

{工作目录}/
    db/
        {节点ID}/          # 数据分区和索引
        wal/
            {节点ID}/      # 活动WAL段
            archive/       # WAL归档

可通过storagePath、walPath和walArchivePath参数自定义路径。

高级特性

WAL归档压缩

通过启用WAL归档压缩可显著减少磁盘占用：

DataStorageConfiguration dsCfg = new DataStorageConfiguration();
dsCfg.setWalCompactionEnabled(true);
dsCfg.setWalCompactionLevel(5);  // 1-9级压缩

WAL记录压缩

对于写密集型场景，可启用WAL记录压缩：

<property name="walCompression">
    <bean class="org.apache.ignite.configuration.DiskPageCompression">
        <property name="algorithm" value="ZSTD"/>
        <property name="level" value="3"/>
    </bean>
</property>