问题:当phoenix 数据数据很大(5年以上数据),删除phoenix数据时,不添加主键delete 语句会报错(delete 会触发hbase合并文件),下面介绍一种方法实现phoenix 大表数据删除
思路:编写sql 拼接phoenix表主键,生成delete 语句
ps:
- phoenix数据 hive表中需要存在一份
- 当phoenix表比较少,直接执行delete语句即可
操作步骤
1. 确认hbase表主键和同步的hive表
hbase表:apex.his_jy_zqye ,主键 khh、rq、gtlb、jys、zqdm、gdh
hive映射表:adp_dm.ids_his_jy_zqye_impala_hb 确认 rq 是要删除的日期
