impala刷新元数据以及一些命令

最新推荐文章于 2024-12-23 12:59:33 发布

原创

最新推荐文章于 2024-12-23 12:59:33 发布 · 2.6k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #impala

本文介绍了Impala中两种元数据刷新方法：`invalidate metadata`和`refresh`，前者适用于全库或表元数据刷新，后者针对单个表或分区的数据更新。当表结构变化时使用`invalidate metadata table`，数据变化则使用`refresh table`或`refresh table partition`。同时，文章列举了常用的Impala shell命令，如查看手册、指定Impalad、执行SQL文件及保存结果等。

文章目录

元数据刷新
shell 命令

元数据刷新

impala有两种刷新元数据的方法，invalidate metadata和refresh。
invalidate metadata是用于刷新全库或者某个表的元数据，包括表的元数据和表内的文件数据，它会首先清楚表的缓存，然后从metastore中重新加载全部数据并缓存，该操作代价比较重
refresh只是刷新某个表或者某个分区的数据信息，它会重用之前的表元数据，仅仅执行文件刷新操作，它能够检测到表中分区的增加和减少，主要用于表中元数据未修改，数据的修改。

# invalidate metadata的用法
invalidate metadata 刷新整个库和表
invalidate metadata table 刷新指定表

# refresh
refresh table 刷新表
refresh table partition(xxx) 刷新表分区 
ps:刷新表分区的时候必须要写全，比如有二级分区就需要写二级分区，一级分区会报错，例如refresh test.ods_bi_money_list partition(dateline = '2021-04-26', bi_pid = '19')

invalidate meta