- 博客(7)
- 收藏
- 关注
RSS订阅原创 探索 Airbyte 的增量数据同步
当 Airbyte 将数据从源复制到目标时，它首先将数据复制到“原始”表中。然后，如果启用了规范化，则此数据将由目标中的 Airbyte 触发的 SQL 命令进行转换。Airbyte 利用dbt创建用于规范化数据的 SQL，并利用公用表表达式（或 CTE）将 SQL 分解为更模块化和易于理解的部分。在本教程的后面部分，您将探索用于规范化的低级别 SQL，并将查看目标数据库中的原始表和规范化表。增量同步是一种复制方法，可有效地使源和目标保持同步。与完全刷新数据。
2023-04-04 16:04:15
2708
1
原创 Airbyte是如何避免ELT中数据提取加载错误
ELT中，提取加载EL的优雅不仅仅是结果，而是执行 - 保证不会出错的艺术，是整个数据工程的基石。
2023-03-29 09:54:05
246
原创 什么是Airbyte
Airbyte是一个开源数据管道平台，可替代Stitch数据和Fivetran。尽管现有的数据管道平台提供了与Stripe和Salesforce等知名来源的大量集成，但当前模型中存在一个差距，遗漏了小型服务集成。Airbyte 通过构建和维护连接器来解决此问题，同时培养一个从彼此的自定义连接器中受益的用户社区。公司通常的做法是构建自定义连接器来支持其应用程序。Airbyte的开源模型创建了一个社区，公司可以通过构建和维护其独特的连接器来相互支持。
2023-03-24 09:33:43
1938
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人