在使用Kettle进行大量数据同步时，可能会遇到内存溢出等问题。本文介绍了一种通过Kettle结合分页技术来提高数据同步效率的方法，并提供了一个具体的实现流程。
版本
kettle7.0
mysql5.7
应用场景
在实际开发环境中，使用kettle同步的过程可能操作的数据非常大，几百万条，甚至上千万条。在这个过程中，如果使用kettle一次性同步数据的话，会出现内存溢出、GC未能及时释放，数据源脚本长时间无响应，在Linux下面甚至还出现：
Triggering heartbeat signal for 。。。 at every 10 seconds 这种情况的警告。
综合上面的情况，kettle + 分页 实现数据同步是一种比较好的可选方案。
在这种情况下使用mysql分页，建议大家放弃limit。
下图是主要过程：
1.设置变量：
2.检查字段值
3.使用javascript脚本验证
4.转换里面表输入的配置
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
