datax 持续数据同步_Exchangis,助力海量数据跨多种数据源轻松传递共享

Exchangis是微众银行开源的数据交换平台,旨在解决数据在不同计算存储中快速传递的问题。它提供数据源抽象、任务管理、执行引擎支持等功能,降低数据交换的学习和使用成本,同时具备数据权限管理和多引擎服务管理等特性。Exchangis未来将进行系统优化和与其他WeDataSphere组件的整合。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

aeee70aeafb9542c1f899dceb3d873af.png

Exchangis,助力海量数据跨多种数据源轻松传递共享

Exchangis是微众银行开源的数据交换平台,用于数据在不同计算存储中快速传递,并解决数据交换过程中面临的序列化反序列化耗时长、传输限流、数据读写权限管控、组件版本兼容性等问题。设计上采取微服务架构,上下层服务松耦合,易于进行定制扩展开发。   

Exchangis Github地址:

https://github.com/WeBankFinTech/Exchangis

1

Exchangis是什么

Exchangis是一个数据交换系统,便捷且安全地进行数据交换流程是其主要职责。它提供创建和管理数据交换任务的功能,目的是以类似任务总线的方式,满足现有的同构或者异构数据源之间数据传输、管理的需求。Exchangis将数据交换中涉及的数据源抽象化,可以随时更新和修正数据源连接,数据交换任务的执行流程也被拆分成几大部分,对任务有更细粒度的管理。Exchangis底层使用的执行引擎具有可替换性,目前主要使用的执行引擎是基于阿里DataX框架二次开发后的成果,支持以记录或者二进制两种方式进行数据传输。      

2

为什么需要Exchangis

随着数据利用率的提高和数据共享行为变得频繁,对于大数据平台应用开发来说,如何进行数据交换是每个平台组件都绕不过去的问题。目前大数据平台应用开发的痛点围绕在如下五点:

       

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值