ETLCloud批流一体化体现在哪

ETLCloud批流一体化体现在哪

企业对数据处理的实时性、高效性和准确性的要求越来越高。批流一体化作为一种先进的数据处理理念，逐渐被企业所采用。

目前许多国产化ETL工具也装配了十分强大的批流一体化能力，ETLCoud就是一个很好的代表，它能够对静态数据和实时流动的数据进行抽取、转换和加载操作，实现对不同业务场景对数据处理的需求。

这篇文章，我们将具体为您讲解，ETLCloud 的批流一体化能力究竟体现在哪些方面呢？

一、数据处理能力

批流一体（Unified Stream and Batch Processing）是将流式处理和批量处理的优势结合在一个统一的框架中进行数据处理。其目标是通过一个系统同时支持实时数据流处理和离线数据处理，提供更加灵活和高效的数据处理能力。

ETLCloud 的实时数据集成支持通过 CDC（Change Data Capture）等技术对数据源进行实时数据同步以及流数据的实时处理。例如在实时订单、销售数据报表场景中，CDC 实时监听销售或订单表数据的 LOG，形成流式数据。对于实时数据传统做法是先让数据入库，再用 SQL 语句或 ETL 流程进行变换形成宽表数据，这样会失去数据处理的时效性。而 ETLCloud 采用实时批流合并的方式，通过拉入实时输入流节点接管流入的实时流式数据，再用多流合并节点将批数据拆分后的行数据进行合并，使后续节点拿到实时合并的宽表数据，避免了在 ODS 层的二次变换，直接传输给业务系统使用，满足了业务对实时数据报表的需求。

监听器配置