《大数据之路》阅读笔记--数据同步

数据同步

同步方式主要分为三种：直连同步、数据文件同步和数据库日志解析同步。

直连同步

直连同步是指直接使用ODBC/JDBC接口的方式直接连接数据库来拉取数据，这种方式对源系统的性能影响较大，不适合大数据量的情况。

数据文件同步

数据文件同步通过约定好的文件编码、大小、格式等，直接从源系统生成数据的文本文件，由专门的文件服务器，如FTP服务器传输到目标系统后，加载到目标数据库系统中。当源数据来自多个不同的数据库系统时这种方式比较好。

在使用数据文件同步时，同时还会同步一个校验文件，保证文件的完整性。另外，在从源数据到数据文件的过程可以进行压缩和加密。

数据库日志解析同步

可以通过解析日志文件获取发生变更的数据，从而实现增量同步。读取归档日志是在操作系统层面完成的，不会对源系统造成太大影响。数据文件的传输可以通过网络协议进行传输。传输到目标系统后再将数据加载导入到目标系统。