35、迈向全球化数据访问：挑战与解决方案

迈向全球化数据访问：挑战与解决方案

1. 元数据目录与文件目录

元数据目录和文件目录是数据管理中的两个概念。元数据目录就像一个索引，记录了一个地区人们拥有的音乐文件信息，但每个人可以选择不拥有、丢失或损坏其中列出的 CD，这不会被视为错误，也不影响该 CD 的相关信息。简单来说，它只是关于音乐发行的信息，有人可能拥有，有人可能没有。而文件目录则要准确反映现实情况，这增加了任务的复杂性，因为要验证所有条目是否正确，以及列出人们拥有、出售或交换的所有 CD，在计算上非常困难，甚至可能无法实现。

从总体角度看，我们不主张将元数据目录提升为文件目录，因为请求资源的全球定位应是存储系统的任务，而非处理信息记录的系统的任务。这虽然看似是个小问题，甚至有点哲学意味，但从架构角度来看，却有很大的不同。

2. 工作目标

在工作中，我们设定了多个总体目标：
- 简化基于副本的数据管理方法 ：为避免这种方法带来的依赖问题，需要一个能应对存储全球化的数据存储子系统。同时，要确定这类解决方案的有效程度，例如能否支持交互式数据分析。
- 增强数据分析计算模型 ：在现有的数据分析计算模型中插入一些关键特性，使其更强大，同时朝着组件更好集成的更宏伟场景发展。
- 构建统一的文件系统视图 ：从由软件或人工协调的多个不同远程站点组成的高性能存储模型，过渡到远程存储节点以某种方式协作，提供内容统一的类文件系统视图的模型。这样，即使本地存储缺少某些所需数据文件，作业调度器也能选择在该站点调度作业。设计时需考虑如何处理这种情况，例如立即将请求的数据文件拉到