超级会员免费看
高性能高可靠RAIS5存储架构及ADAM目录加速机制
1. RAIS5AS存储架构
1.1 奇偶块生成算法
RAIS5AS在处理写请求时，奇偶块的计算有两种情况：
- 若更新的是物理条带中未更新的数据块，新奇偶块值为物理条带中未更新数据块的值与待更新数据块新值的异或结果，即 (P′
i = D_j ⊕ D
{j + 1} ⊕ D_{j + 2} … ⊕ D_{j + k} ⊕ d_h ⊕ d_{h + 1} … ⊕ d_{h + l})。
- 否则，RAIS5AS预读取物理条带中的奇偶块和待更新的数据块，新奇偶块可由奇偶块的旧值、物理条带中待更新数据块的旧值和待更新数据块的新值计算得出，即 (P′
i = P_i ⊕ D_j ⊕ D
{j + 1} ⊕ D_{j + 2} … ⊕ D_{j + k} ⊕ d_j ⊕ d_{j + 1} ⊕ d_{j + 2} … ⊕ d_{j + m})。
为了减少预读操作的数量，RAIS5AS会选择预读操作较少的计算方式。例如，当 (D_0 ∈Π(R_i) && D_1 /∈Π(R_i)) 时，会根据具体情况选择 (P′_0 = P_0 ⊕ d_0 ⊕ D_0 ⊕ D_1) 或 (P′_0 = d_2 ⊕ D_0 ⊕ D_1) 等计算方式。
1.2 数据恢复算法
传统RAID5在创建时需要进行奇偶校验同步，以确保数据一致性。而RAIS5AS修改了同步过程，在创建或初始化RAIS5时，只需将SBT中的所有位设置为零。在处理写请求时，RAIS5AS会更改SBT中位的值，当一个块被写入时，对应的 (B_{ij}) 被设置为“1”。
数据恢复算法依赖于故障块对应的 (B_{ij})：
- 若故障块未被使用（即 (B_{ij} = 0)），RAIS5AS会跳过该条带。
- 若故障块已被使用（即 (B_{ij} = 1)），则读取物理条带中所有存活的块来恢复故障块。例如，对于 (D_2)，对应的物理条带是 ((D_0, D_1, D_2, P_0))，RAIS5AS会读取 (D_0)、(D_1) 和 (P_0) 来恢复 (D_2)（即 (D_2 = D_0 ⊕ D_1 ⊕ P_0)）。
1.3 性能评估
1.3.1 实验设置
实验在配备Intel Xeon 3.0 GHz处理器和8 GB DDR内存的服务器级硬件平台上进行。使用SATA磁盘来安装操作系统（Linux内核2.6.32）和其他软件（MD、mdadm和RAIDmeter）。使用八个工作负载跟踪来评估性能，这些跟踪的特征如下表所示：
| 跟踪文件 | 总请求数 | 写请求比例 | 平均大小 (KB) |
| — | — | — | — |
| fin1 | 249496 | 67.18% | 7.24 |
| fin2 | 450453 | 17.61% | 2.22 |
| mds0 | 91021 | 90.49% | 7.27 |
| prn0 | 80147 | 78.10% | 9.09 |
| proj0 | 164971 | 64.41% | 16.37 |
| usr0 | 168422 | 60.41% | 18.66 |
| iozone | 100000 | 100.00% | 280.05 |
| postmark | 62257 | 83.17% | 152.07 |
1.3.2 性能结果与分析
- 正常模式 ：在正常模式下，对RAIS5AS、RAIS5和JOR进行实验。三个存储系统均配置4个容量为10 GB的SSD，条带块大小均为512 KB。使用RAIDmeter分别对三个系统重放每个跟踪一小时。结果表明，RAIS5AS在平均响应时间方面平均比RAIS5和JOR分别高出7.92%和9.16%。这是因为RAIS5AS使用了新的奇偶块生成算法，减少了处理写请求时的预读块数量，缓解了基本RAIS5存储系统中的小写入问题。
- 离线重建性能 ：为了评估离线重建性能，先在三个系统上运行八个跟踪一小时进行初始化，然后使一个SSD故障来测量重建时间。结果显示，RAIS5AS在重建时间方面平均比RAIS5高出95.65%，JOR平均比RAIS5高出94.89%。RAIS5AS和JOR的重建时间比RAIS5低两个数量级，因为RAIS5需要恢复系统中的所有条带，而JOR和RAIS5AS只恢复部分条带。RAIS5AS在重建时间方面平均比JOR高出14.57%。
- 在线重建性能 ：为了评估RAIS5AS的在线数据恢复效率，进行在线重建实验。同样先在三个系统上运行八个跟踪一小时进行初始化，然后使RAIS5的一个SSD故障，再次运行八个跟踪一小时。实验结果表明，RAIS5AS在平均用户响应时间和数据恢复时间方面表现最佳。在平均用户响应时间方面，RAIS5AS平均比RAIS5和JOR分别高出31.03%和18.04%；在重建时间方面，RAIS5AS平均比RAIS5和JOR分别高出93.52%和18.68%。RAIS5AS只恢复已使用的块，从而显著缓解了用户I/O和重建I/O之间的竞争。
- 不同使用存储空间百分比的影响 ：实验还研究了RAIS5AS对使用存储空间百分比的影响。结果表明，JOR和RAIS5AS的重建时间随着使用存储空间百分比的增加而增加，且RAIS5AS在重建时间方面表现最佳。当SSD的空间利用率较高（90%使用空间）时，JOR仅比RAIS5高出4.09%，而RAIS5AS比RAIS5和JOR分别高出26.31%和23.17%。
1.4 相关工作
传统RAID5存储系统中有许多重建优化技术，如WorkOut通过添加代理RAID来吸收写请求和热读请求，提高在线重建性能；Stripe-Oriented Reconstruction（SOR）为磁盘阵列的每个条带创建重建过程；Disk-Oriented Reconstruction（DOR）为每个磁盘创建重建过程；Pipelined Reconstruction（PR）算法利用轨道访问的顺序特性来流水线重建读写过程；popularity-based multi-threaded reconstruction optimization（PRO）允许重建过程先重建频繁访问的区域。
此外，许多研究使用SSD来构建基于RAID的存储系统，如HPDA和HRAID6ML充分利用HDD和SSD的优势来提高存储系统的性能并延长SSD的寿命；log disk mirroring（LDM）方案通过结合基于HDD的RAID1和基于SSD的RAIS5来提高RAIS5的性能和可靠性。
2. ADAM：NVM文件系统的自适应目录加速机制
2.1 背景
新兴的非易失性内存（NVM）技术为持久存储提供了快速、细粒度的随机访问，彻底改变了文件系统的架构设计。现有的基于NVM的文件系统很少优化目录访问性能，尽管目录操作对应用程序性能有很大影响。这些文件系统仍然遵循传统的多级目录命名空间设计，这对于字节可寻址的NVM来说是不够的，并且涉及冗余的访问开销。
2.2 传统目录命名空间
传统的目录命名空间有两种主要设计：多级目录命名空间和全名目录命名空间。
-
多级目录命名空间
：支持快速重命名，但由于递归扫描会增加读取延迟。这种机制紧密耦合目录元数据和inode，因为目录索引和更新涉及目录名称和inode编号，因此在一致性保证方面带来了很大的开销。
-
全名目录命名空间
：提供快速直接访问，但在重命名时会带来沉重的写入开销，因为路径名称的更改可能会导致大量小的随机写入，在传统的基于磁盘的文件系统中会被放大。
这两种机制都不适合基于NVM的文件系统。对于多级目录命名空间，在字节可寻址的NVM中，牺牲目录读取性能是不必要的，而且目录元数据和inode的紧密耦合会导致对inode的冗余访问和大量NVM写入，对访问性能产生负面影响。全名目录命名空间更适合NVM，但在基于NVM的文件系统中实现时会出现问题，因为重命名目录时会自然带来大量随机写入。
2.3 ADAM机制
2.3.1 自适应全名目录命名空间（AFDN）
ADAM引入了一种新的目录布局设计，即自适应全名目录命名空间（AFDN）。每个AFDN区域定义一个具有完整路径名的根目录和相对于根目录名具有自适应路径名的子目录。自适应路径名不仅避免了根目录名更改时的重命名开销，还通过解耦目录元数据和inode来提高目录的读写性能。
2.3.2 目录状态分类和演化策略
ADAM根据读取频率、写入频率和目录大小对目录状态进行分类，并引入了一种演化策略，为AFDN区域定义了三种演化：分裂、合并和继承。演化策略确保每个AFDN区域被合理选择，并使AFDN区域的划分始终适应系统运行时目录的变化状态。
2.4 实验结果
将ADAM实现在基于混合DRAM/NVMM的NOVA日志结构文件系统上，并构建了一个高效的混合索引（包括哈希表和基数树）。实验表明，带有ADAM的NOVA与原始NOVA相比，延迟最多降低43%，吞吐量最多提高76%。此外，ADAM在各种测试中通常优于其他最先进的基于NVM的文件系统。
综上所述，RAIS5AS和ADAM分别在存储系统的性能和文件系统的目录访问性能方面提供了有效的解决方案，具有重要的实际应用价值。
3. RAIS5AS与ADAM机制的优势总结
3.1 RAIS5AS优势
- 奇偶块生成优化 ：RAIS5AS的奇偶块生成算法通过灵活选择计算方式，减少了预读操作，有效缓解了基本RAIS5存储系统中的小写入问题，提高了写性能。例如在处理写请求时，根据不同情况选择合适的奇偶块计算式，避免不必要的预读，从而提升了整体效率。
- 数据恢复高效 ：在数据恢复方面，RAIS5AS通过SBT记录块的使用状态，只恢复已使用的故障块，跳过未使用的条带，大大减少了恢复的数据量，提高了恢复效率。相比传统RAID5需要恢复所有条带，RAIS5AS在重建时间上有显著优势。
- 性能全面提升 ：从性能评估结果来看，无论是正常模式下的平均响应时间，还是离线和在线重建性能，RAIS5AS都表现出色。在不同的工作负载跟踪测试中，RAIS5AS在平均响应时间、重建时间等方面均优于RAIS5和JOR，充分证明了其高性能和高可靠性。
3.2 ADAM优势
- 目录布局创新 ：ADAM引入的自适应全名目录命名空间（AFDN），通过定义根目录和自适应路径名的子目录，解耦了目录元数据和inode，避免了重命名开销，提高了目录的读写性能。这一创新设计解决了传统目录命名空间在NVM文件系统中存在的问题。
- 动态适应能力 ：ADAM的目录状态分类和演化策略，能够根据目录的读取频率、写入频率和大小进行分类，并通过分裂、合并和继承三种演化方式，使AFDN区域的划分始终适应系统运行时目录的变化状态，保证了系统的稳定性和性能。
- 实验效果显著 ：在NOVA文件系统上的实验结果表明，ADAM能够显著降低延迟、提高吞吐量，并且在各种测试中优于其他最先进的基于NVM的文件系统，证明了其有效性和实用性。
4. 技术应用场景与展望
4.1 RAIS5AS应用场景
- 企业级存储 ：在企业级存储系统中，数据的读写操作频繁，对存储系统的性能和可靠性要求较高。RAIS5AS的高性能奇偶块生成算法和高效的数据恢复机制，能够满足企业级存储系统对快速读写和数据安全的需求，减少因写入操作和磁盘故障带来的性能损失。
- 数据中心 ：数据中心通常需要处理大量的数据存储和管理任务，RAIS5AS可以在数据中心的存储架构中发挥重要作用。其能够有效提高数据的存储和恢复效率，降低系统的维护成本，提升数据中心的整体性能。
4.2 ADAM应用场景
- 高性能计算 ：在高性能计算领域，应用程序对文件系统的目录访问性能要求极高。ADAM的自适应目录加速机制能够提供快速的目录访问，减少目录操作的延迟，提高应用程序的运行效率，适用于高性能计算集群中的文件系统。
- 云计算 ：云计算环境中，大量的用户和应用程序共享文件系统资源，目录操作的性能直接影响用户体验和应用程序的性能。ADAM可以优化云计算文件系统的目录访问性能，提高系统的响应速度和吞吐量，满足云计算环境的需求。
4.3 未来展望
随着技术的不断发展，RAIS5AS和ADAM机制有望在更多领域得到应用和优化。例如，在未来的存储系统中，RAIS5AS可以与其他新兴技术相结合，进一步提高存储性能和可靠性；ADAM可以不断改进其演化策略，更好地适应复杂多变的目录状态。同时，随着NVM技术的不断进步，基于NVM的文件系统和存储架构将迎来更多的创新和发展机遇。
5. 总结
本文介绍了RAIS5AS存储架构和ADAM自适应目录加速机制，它们分别在存储系统和文件系统领域解决了关键问题，提升了系统的性能和可靠性。以下是两者的关键信息对比表格：
| 技术 | 核心创新点 | 主要优势 | 应用场景 |
| — | — | — | — |
| RAIS5AS | 新的奇偶块生成算法，SBT记录块使用状态 | 减少预读操作，提高写性能；只恢复已使用块，提高恢复效率 | 企业级存储、数据中心 |
| ADAM | 自适应全名目录命名空间（AFDN），目录状态分类和演化策略 | 解耦目录元数据和inode，提高目录读写性能；动态适应目录变化 | 高性能计算、云计算 |
通过对RAIS5AS和ADAM的研究和应用，我们可以看到这些技术为存储和文件系统领域带来了新的思路和解决方案。在未来的发展中，我们期待这些技术能够不断完善和拓展，为更多的应用场景提供支持。
下面是一个简单的mermaid流程图，展示RAIS5AS数据恢复的主要流程：
graph TD;
A[开始] --> B{检查Bij};
B -- Bij = 0 --> C[跳过条带];
B -- Bij = 1 --> D[读取存活块];
D --> E[恢复故障块];
C --> F[结束];
E --> F;
这个流程图清晰地展示了RAIS5AS在数据恢复时，根据故障块对应的Bij值来决定是否恢复该条带的过程，体现了RAIS5AS数据恢复的高效性和针对性。
扫一扫
23
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
