fj56355113的专栏

技术 特点 使用场景 对比 备注 Maxwell 轻量级数据同步中间件、支持刷全量、断点还原、随机读数据，固定JSON数据格式 mysql数据全量、增量同步 Canal：数据落地需要定制开发、不支持刷全量。虽然高版本有了adapter客户端，需要启动独立进程，对于maxwell来说还是重量级框架，配置复杂 Sqoop：直接数据仓库之间的同步，不好加入清洗、计算层，配置复杂，有些字段类型还不支持，对于多变数据类型支持不灵活 DataX：开源

适用场景(解决问题)： 现状: 1、现有的离线数据统计分析，容错性差、非HA，不支持分布式计算，统计性能太差。有些直接把在线业务库当数据源，一个晚上必须计算完，否则到白天直接影响系统业务性能。 2、随着平台业务的发展，数据量越来越大，直接对mysql进行查询、统计慢慢变得不可能。如果对现状数据库做分表分库，属于系统重构，工作量大，直接影响系统业务发展。即使做了分表分库，像Mycat，这样的中间件，也是需要业务系统大改，对于千万、亿级这样的海量，也是变得有心无力。 解决： 大数据框架引入能解决的..