41、DA Placement：双感知数据放置策略解析

DA Placement：双感知数据放置策略解析

1. 设计背景与目标

在分布式存储系统中，数据放置策略至关重要。传统系统中，若未采用去重和擦除编码技术，数据通常以块为基础进行分布，简单的滚动放置方法可实现数据块的序列化放置。然而，当系统引入去重和擦除编码技术后，情况发生了变化。去重会移除重复内容并收集重复统计信息，擦除编码则以条带为单位提供数据保护，原有的滚动放置方法不再适用，需要一种新的能感知这些新技术的方法来实现设计目标。设计目标主要有两个：一是在节点较多的集群中，分散源写入请求，避免节点负载不均衡；二是对于可能大于节点数量的跨请求读取，保持相邻写入请求间的数据顺序，以最大化数据访问效率。

2. 去重感知与擦除编码感知

• 去重感知（Deduplication - Awareness） ：
  • 重复内容放置信息 ：通过指纹匹配识别原始数据块是唯一的还是重复的。对于唯一块进行正常放置，而对于重复块，仅存储指向第一个副本位置的指针。了解重复内容的位置对于新数据块的分布很重要，可避免因移除重复数据导致节点负载不均衡。例如，在同一请求中，如果知道重复块（如块A和块B）的位置，后续的块E和块F就能避免放置在已使用的节点（如节点0和节点1），从而实现请求2的数据平衡放置。
  • 唯一块重复级别利用 ：不同的唯一块有不同的重复级别，即一个块被多个请求共享的次数。在实际应用中，由于无法预知工作负载的行为，可假设每个文件在整请求读取时被平等访问。因此，去重提示可作为推测未来访问的有用指标。如唯一块A的去重级别为5，位