75、冷存储上的廉价数据分析

冷存储上的廉价数据分析

在数据存储领域，冷数据的存储和分析一直是企业关注的重点。传统的硬盘驱动器（HDD）和磁带存储各有优劣，而新兴的冷存储设备（CSD）则为冷数据的处理带来了新的解决方案。

传统存储介质的问题

• HDD 的局限性 ：HDD 供应商一直在努力提高面密度，如采用氦气轴承替代空气轴承，或使用叠瓦式磁记录（SMR）技术。然而，HDD 面密度的年增长率仅为 16%，远低于预期的 40%。此外，HDD 作为冷数据存储介质时，存在高空闲功耗的问题，即使在闲置状态下也会消耗大量电力，这导致运营成本大幅增加。因此，基于 HDD 的容量层并不适合存储不常访问的冷数据。
• 磁带存储的问题 ：与 HDD 不同，磁带的面密度以每年 33%的速度稳步增长，并且在可预见的未来有望继续增加。单个 LTO - 7 磁带盒在顺序数据访问带宽方面能够媲美甚至超过 HDD，现代磁带库的累积带宽可达 1 - 2 GB/s。但磁带库的随机访问延迟比 HDD 高 10000 倍，因为在访问数据之前需要机械加载磁带盒。因此，基于磁带的存档层通常仅用于存储很少访问的合规性和备份数据。当使用存档层存储冷数据时，由于需要对冷数据进行分析查询以提取有价值的结果，磁带的高访问延迟会对即使对延迟不敏感的批量分析工作负载也造成显著的性能损失。企业面临着在磁带存档层存储冷数据牺牲性能，或在 HDD 容量层存储冷数据牺牲成本的两难选择。

冷存储设备（CSD）的出现

近年来，存储硬件供应商和研究人员意识到了基于 HDD 的容量层和基于磁带的存档层之间的差距，从而催生了一类专门针对冷数