HCatalog是Hadoop生态系统中的一个组件，它扩展了Hive的元存储，提供了一种统一的方式来管理和访问HDFS和HBase中的数据。通过表抽象，HCatalog使得数据消费者无需关心数据存储位置和方式，支持Pig、Hive和MapReduce共享数据模型，促进了工具间的通信、数据发现和系统集成。
在HDFS和HBase之间，Hadoop提供了许多保存数据的方法，使得数据可以被多个应用程序访问。但将数据集中存储并提供给多个应用程序访问，这样做产生了一系列新的挑战，包括以下几点：
如何分享数据，才能够使数据以用户想要的任何形式来保存和处理？
如何能够将不同的Hadoop应用程序和其他系统集成？
访问数据的常见方法之一是通过表抽象，该方法通常用于访问关系型数据库，并且为许多开发者所熟知(和广泛采用)。一些流行的Hadoop系统，例如Hive和Pig，也采用了这种方法。这种抽象解除了数据如何存储(HDFS文件、HBase表)与应用程序如何处理数据(表格式)之间的耦合。此外，它允许从较大的数据语料库中“过滤”感兴趣的数据。
为支持这种抽象，Hive以关系型数据库的形式提供了元存储，这允许我们捕获实际物理文件(和HBase表)与用于访问该数据的表(虚拟的)之间的依赖关系。
Hive和Pig
传统上，数据保存在数据库中，SQL是提供给数据工作者的主要接口。
Hadoop的数据仓库系统——Hive，旨在为这些数据工作者简化Hadoop的使用，它提供了HiveQL——一种类似SQL的语言，用于访问和操作基于Hadoop且保存在HDFS和HBase中的数据。通过将请求透明地转换为MapReduce执行，HiveQL支持专有的查询、连接、摘要等。其结果是，Hive查询不是实时执行，而是作为
最低0.47元/天 解锁文章
扫一扫
430
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
