实现Hive on HBase之分区表

1. 流程步骤

步骤操作
1创建HBase表
2创建Hive表
3同步HBase元数据到Hive

2. 操作步骤及代码

步骤1:创建HBase表

首先,我们需要在HBase中创建一个表,用于存储数据。

HBase shell命令:
create 'my_hbase_table', 'cf'
  • 1.
  • 2.
步骤2:创建Hive表

在Hive中创建一个外部表,并指定HBase表作为数据存储。

HiveQL语句:
CREATE EXTERNAL TABLE my_hive_table(key string, value string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf:value")
TBLPROPERTIES ("hbase.table.name" = "my_hbase_table");
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
步骤3:同步HBase元数据到Hive

最后,同步HBase的元数据到Hive中,让Hive可以访问HBase表。

HiveQL语句:
MSCK REPAIR TABLE my_hive_table;
  • 1.
  • 2.

类图

HBase tableName columnFamily createTable() Hive tableName columnMapping createExternalTable() syncMetaData()

饼状图

分区表数据量 30% 20% 50% 分区表数据量 分区一 分区二 分区三

通过以上操作,你就成功实现了Hive on HBase之分区表的操作。希望这篇文章对你有所帮助,如果有任何疑问,请随时向我提问。祝你学习顺利!