RestCloud安装、使用调研

大数据侠客

已于 2024-02-27 14:32:16 修改

阅读量325

点赞数

分类专栏：大数据相关技术文档总结文章标签：性能优化

于 2024-02-27 13:36:32 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_41367158/article/details/136320079

版权

大数据相关技术文档总结专栏收录该内容

10 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了RestCloud数据集成平台，包括其产品架构、数据源管理、离线和实时数据集成、监控中心以及与Kettle的对比。RestCloud采用SpringCloud微服务架构，支持丰富的数据源和组件，提供ETL和ELT功能，实现实时数据监听和毫秒级同步，具备智能监控告警。此外，还展示了离线数据集成实战，指导了RestCloud的部署步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ETLCloud为最新一代的数据集成平台，我们致力于打造一款集离线数据集成ETL、ELT、CDC实时数据集成、编排调度、数据服务API为一体的数据集成平台(DataOps)，一站式满足企业的各种最为复杂的数据集成场景。提供私有化部署能力和云原生架构，满足企业不同发展阶段的业务需求。提供开放的组件市场,企业通过本平台可以快速构建大数据基础底座，同时快速打通ERP、MES、OA、SaaS、API、MQ、IOT等数据构建数据仓库。

产品架构

在这里插入图片描述

RestCloud数据集成平台采用SprigCloud微服务架构技术开发，底层基于纯Java语言采用前后端分离架构，前端采用React技术进行开发。 RestCloud数据集成平台是基于数据流+工作流引擎的架构进行研发的。

其底层设计了一个专门为数据处理任务流而研发的工作流引擎用以支撑任意复杂的数据流处理包括：串行、同步并行、异步并行、同步子流程、异步子流程、事务控制、循环任务执行、多流合并、数据折分、数据流复制等。
而不是基于DAG这种简单的有向无环图的数据流程处理逻辑，得益于我们在工作流上面集累的优势我们不但可以做DAG这种简单的依赖任务处理还可以做复杂的多层任务调度能力，企业可以把数据处理任务分为原子层、逻辑组合层、调度层等方式来组合企业的复杂任务调度需求，可以把一个