oracle-hive同步-merge/delete

最新推荐文章于 2023-02-20 19:54:13 发布

原创

最新推荐文章于 2023-02-20 19:54:13 发布 · 595 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了如何通过Hive查询来同步数据到Oracle，以实现增量更新和删除操作，从而减少全量推送的资源消耗。通过在Hive中执行全外连接查询，将新增和更新的数据写入一个表，删除或无效数据写入另一个表。然后，将这两个Hive表的数据推送到Oracle，并在Oracle端执行Merge语句以保持数据一致性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通常在hive中进行数据处理，处理好的数据再推送到oracle中使用，需要保持两边数据一致，再推送的时候最好的方式是sqoop的merge形式全量推送，但这样消耗的资源、时间很长，可以只推送新增、更新、删除的数据给oracle，之后再再oracle中对目标表再单独的执行一段merge程序进行更新，筛选出这些数据的sql可参考下面这样的示例:

其中：from 使用多模式插入

tel_m存储新增、更新的数据

tel_d存储需要删除的数据、无效数据

from( select pre.tel_num as pre_tel_num,
pre.shield_code       as pre_shield_code,
           pre.shield_reason       as pre_shield_reason,
new.tel_num,
new.shield_code,
           new.shield_reason
from (select tel_num,