ELT 哲学的核心原则,即数据在提取和加载阶段移动时应保持不变,以便始终可以在目标中访问原始数据。由于目标中存在数据的未修改版本,因此将来可以重新转换该版本,而无需从源系统重新同步数据。

基于此哲学,我们看看Airbyte提供的数据同步模式和相关概念:
同步运行
Airbyte 复制可以被认为是一个循环,它定期从数据源请求记录并将其发送到目的地。此循环的每次迭代称为同步运行。
什么是游标
在增量复制的上下文中,可以将游标视为指向源数据集的指针,该指针用于跟踪从该源发送到目标的最新记录。它用于确保将来不会再次发送已发送的记录。