0611-5.16.1-Kudu表执行COMPUTE STATS 命令异常分析

最新推荐文章于 2022-01-11 17:59:57 发布

原创

最新推荐文章于 2022-01-11 17:59:57 发布 · 759 阅读

1 ·

CC 4.0 BY-SA版权

在CDH5.16.1环境下，修改Kudu表列名后，执行COMPUTE INCREMENTAL STATS或COMPUTE STATS命令会出现字段不存在异常。解决方案涉及更新Hive metastore DB中的列名信息，并通过INVALIDATE METADATA使更改生效。此问题在CDH6.2和5.14版本中未出现，可能是版本 regression 的错误。

Fayson的github： https://github.com/fayson/cdhproject

推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f

1 文档编写目的

Fayson在CDH5.16.1中对Kudu表使用alter table … change …更改kudu表的列名后，用 COMPUTE INCREMENTAL STATS 或者COMPUTE STATS 命令去统计表的信息时，会报字段不存在异常

测试环境

1.CM和CDH版本为5.16.1

2.操作系统版本为RedHat 7.2

2 问题描述

首先创建一个Kudu 表，并插入两条数据用来测试

CREATE TABLE impala_kudu_test.mykudutest (
    col1 INT NOT NULL ENCODING AUTO_ENCODING COMPRESSION DEFAULT_COMPRESSION,
    s2 STRING NULL ENCODING AUTO_ENCODING COMPRESSION DEFAULT_COMPRESSION,
    PRIMARY KEY (col1)
 ) 
 PARTITION BY HASH (col1) PARTITIONS 3 STORED AS KUDU TBLPROPERTIES ('kudu.master_addresses'='cdh3.macro.com:7051');
insert into mykudutest values (1,"test");
insert into mykudutest values (2,"test2");
select * from mykudutest;