沉淀的博客

100万的数据插入只要30秒（单线程需要1分半），每次6000条数据分批插入（根据每条sql的数据大小计算，我的6000大概是0.6M，有最佳效率，多了少了都有影响），组装100万业务数据只要3秒不到。看后台mysql的写入磁盘可以达到6M每秒，这里多线程插入的是同一张表所以是排队等待的，我的表是自增主键还带有一个索引。场景从服务器抽一百万数据主键，插入业务库，五个字段。多线程插入样例数据，实测样例表在1000万的数内，抽取100万数据的主键，这是服务器缓存32M。

主要是多线程下静态变量的值不能及时回写到运行内存上用synchronized 或者lock 不加volatile的变量拿不到最新值public class PersonOne implements Runnable { /* private static int count = 100; private static int tatol=0;*/ private vo...

关键代码2000万数据同步，每次查询20000分页，一分钟分钟之内全部塞入到队列里等待 log.info("房屋数仓数据同步调度开始！"); Date yesterday = null; HouseFeedbackCount hfb = getHouseFeedbackCountTime(21); if (hfb != null){ yester...