llzhang237的博客

原创 ETL处理时增量思路

ETL处理时增量思路在处理过程中，多个大表关联时通常会有性能问题，所以通常会采用增量方式，那在增量处理时我们需要考虑哪些呢？1、若来源表为一个频繁变化的A表与其他几乎无变化的表关联时，这时只需要考虑A表的增量；（1）A表增量 JOIN 其他表全量，更新目标表；2、若来源表为相互关联的多个部分A表（变化频繁）、B表（变化频繁），C（变化缓慢），这时我们应该考虑多张表增量；（1）A表增量 JOIN B表、C表全量，更新目标表；（2）B表增量 ...