数据传输：同构异IP数据源批量抽取实践

小科普：

什么是同构异IP数据源？ 指的是库表结构一致、IP不同的多个 数据源；

同构异IP数据源的数据特征：数据源类型相同、IP不同、库表名称符合特定规律、表结构一致。

由于使用场景、业务形态、技术选型、开发架构的差异，在企业中往往存在多套不同的软硬件平台上的信息系统。这些不同来源的数据之间彼此独立、相互封闭，使得数据难以在业务系统间进行互联互通和信息共享，从而形成了信息孤岛。然而，随着信息化应用的不断深入，企业内部、企业与外部信息互通的需求日益强烈，亟需联通信息孤岛，实现数据的互通和共享。由此，数据传输产品应运而生，用于实现多种异构数据源之间的数据交换，帮助数据从业务系统同步进入数据仓库。

数据传输产品致力于提供丰富异构数据源之间数据交换的能力，采用分布式的架构，可实现各部门业务数据在应用层面的互联互通和信息共享，可以从容应对大数据量的数据传输需求。本文主要围绕同构异IP数据源批量抽取的业务场景，针对目前存在的业务痛点，结合实践案例介绍数据传输产品的产品解决方案。

1

业务场景

（1）随着业务的飞速发展，业务系统的数据量也在高速增长，需要系统具备灵活的扩展能力和高并发大数据量的处理能力。针对这个业务应用场景，业内部分的数据库系统如MySQL等提供了分布式分库分表的方案，通过减小单表的数据量来解决这个问题。分库分表的数据特征为：表结构一致，复杂场景下会分布存储在跨IP的多个库的多张表中。数据开发需要把分库分表的数据定期抽取到数仓Hive表。

（2）很多大型企业通常会在不同的地域设立分公司。各分公司的