利用HCatalog管理元数据

在HDFS和HBase之间，Hadoop提供了许多保存数据的方法，使得数据可以被多个应用程序访问。但将数据集中存储并提供给多个应用程序访问，这样做产生了一系列新的挑战，包括以下几点：

如何分享数据，才能够使数据以用户想要的任何形式来保存和处理？

如何能够将不同的Hadoop应用程序和其他系统集成？

访问数据的常见方法之一是通过表抽象，该方法通常用于访问关系型数据库，并且为许多开发者所熟知(和广泛采用)。一些流行的Hadoop系统，例如Hive和Pig，也采用了这种方法。这种抽象解除了数据如何存储(HDFS文件、HBase表)与应用程序如何处理数据(表格式)之间的耦合。此外，它允许从较大的数据语料库中“过滤”感兴趣的数据。

为支持这种抽象，Hive以关系型数据库的形式提供了元存储，这允许我们捕获实际物理文件(和HBase表)与用于访问该数据的表(虚拟的)之间的依赖关系。

Hive和Pig

传统上，数据保存在数据库中，SQL是提供给数据工作者的主要接口。

Hadoop的数据仓库系统——Hive，旨在为这些数据工作者简化Hadoop的使用，它提供了HiveQL——一种类似SQL的语言，用于访问和操作基于Hadoop且保存在HDFS和HBase中的数据。通过将请求透明地转换为MapReduce执行，HiveQL支持专有的查询、连接、摘要等。其结果是，Hive查询不是实时执行，而是作为