The palest ink is better than the best memory

hive 锁泄露问题问题描述： hive 表一个分区只能有一个程序/线程获得锁/写入，但发现有两个程序/线程获得了锁，最后在事务提交的时候检查到了冲突。（频率不高，一天一两次的样子）问题分析： hive 客户端实现在本该原子操作的 获取事务ID、启动事务 拆成了需要跨网操作的两步，导致实际串行操作的两次操作，其 [事务启动ID, 事务提交ID] 值对是交叉的（交叉则判断为冲突）。ps. 具体...

一、概述hive表进行分区操作对于读写等操作来说意义重大。最常见的分区类型即通过日期时间，例如年-月-日进行分区。根据日期时间字段进行分区有两种常见的方式:1.一级分区2.多级分区（分区嵌套）所谓的一级分区，故名思义则是将年-月-日看作一个整体。比如说日期2018-12-25，分区字段为date,那么最终的partition则为’date=2018-12-25’。而多级分区，则是将年...