Hive drop 事务表报错 flushing changes to datastore

原创已于 2022-04-28 03:16:20 修改 · 3.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive

于 2022-04-28 02:58:59 首次发布

踩过的坑同时被 2 个专栏收录

27 篇文章

订阅专栏

Hive

5 篇文章

订阅专栏

博客讨论了在Hive中处理事务表时遇到的错误，特别是当尝试先删除源数据表，再删除事务表时导致的ExecutionError。问题可能与ORC存储格式和数据flush到datastore的过程有关。建议的解决方案是先删除事务表，再删除源数据表以避免错误。此问题并不涉及字符编码，而是与Hive的DDL操作顺序和事务表的底层存储原理相关。

[2022-04-28 02:13:01] [08S01][1] Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Exception thrown flushing changes to datastore)

如果一个事务表中的数据是来源于其他表（insert into），然后先 drop 源数据表，再 drop 该事务表就会报以上错误，并且在执行drop该事务表的操作之后该事务表中的数据也会消失，但该表却无法删除。

所以应该先drop该事务表，再drop源数据表，就不会发生报错。查了网上大量的资料大部分都是说是字符编码的问题，但我的MySQL字符集编码一切正常，就挺无语的

如果只是单纯的分桶表就无所谓drop表的先后顺序，但由于事务表需要指定orc存储格式，这里应该跟其底层的存储原理有关，需要小心drop表的先后顺序