梧桐云原生分析型数据库对接HIVE

梧桐数据库对接HIVE数据库

1.概述

目前O域原始信令消息每天达到500-700TB，针对超大规模数据量目前采用的方案是将信令数据直接入库到HIVE，供后续业务分析。由于 HIVE HQL 表达能力有限和Hive效率较低，所以通过采用梧桐云原生分析型数据库对接HIVE，将HIVE数据作为梧桐云原生分析型数据库的外表，通过梧桐云原生分析型数据库SQL引擎进行统计分析。

2.获取HIVE配置信息

从hive-site配置中获取 metastore 的 hms、keytab 票据信息。具体如下图所示：

3.更新OUSHUDB配置信息

根据客户hive-site配置中hms的ip端口、keytab、三段式principal，修改hdfs-client.xml配置，增加以下配置，如下所示：

<property>
      <name>ip:port.hadoop.security.authentication
      <value>kerberos
</property>


<property>
      <name>ip:port.hadoop.security.token.lifetime
      <value>6048000