多线程处理数据及JVM调优经历
简介
多线程
ETL
JVM调优
内存分析工具MAT
…
一 、前言
场景
使用etl及多线程方式同步近3000KW条业务更改记录数据,不同种记录需请求不同平台接口获取详细数据并处理同步到相关数据表,有线程及各种错误日志记录及相关处理机制.
预方案
使用ETL定时处理,多线程分区处理业务数据,线程池管理各个线程(50个)处理固定数量的更改记录,一次请求固定数量更改记录,递归调用直到...
原创
2020-04-21 18:49:04 ·
752 阅读 ·
0 评论