impala 更新元数据 以及 用impala对复杂类型的列 查询

impala是MPP型数据库, 支持HIVE 和 S3 作为底层存储.

impala 刷新元数据

impala 能从Hive的metastore里获取表结构的元数据, 但是并不能感知 hive 的改动, 所以如果hive的表结构发生了改动需要手动来刷新 impala 缓存的元数据.

刷新方式有两种: 

INVALIDATE METADATA sometable;

REFRESH sometable;

区别: 

1. 如果新增了一张表或者删除了一张表, 需要 使用 INVALIDATE METADATA

2. 如果是已经存在的表增删了分区, 使用 REFRESH 即可.

 

impala 查询 带有复杂类型(complex type, 又称 nested type)字段的表

impala不支持直接查询复杂类型字段, 当你用 select * 查询时只会返回基本类型的列

对于复杂来行, 基本的处理方式是把复杂类型当作一张表, 这和hive 的 LATERAL VIEW explode 很像

比如 array 类型视为 一张表, 其列名为 item

map类型有两个列, 一个是key, 一个是value

struct类型 的列名如hive表中定义

 

参考:

https://www.cloudera.com/documentation/enterprise/5-5-x/topics/impala_complex_types.html#complex_types_queries

https://blog.youkuaiyun.com/u014469615/article/details/78533162

 

以map类型为例:

select  col1, m.key, m.value from table1, table1.mapcol as m