最近做一个项目,需要插入数万行数据,要尽快完成。
原来的时间,插入10万条,需要30分钟,单线程,逐条插入
改动后,插入10万条,只需1到2分钟
改动思路:
1、机器CPU是4核的,把串行的变成多线程的,4-6个线程,一般不超过CPU数量的2倍。
2、逐条插入变成1000条批量插入
3、由于是多线程,原有程序要修改,因为可能有键冲突,造成插入异常及其他不一致情况。
最近做一个项目,需要插入数万行数据,要尽快完成。
原来的时间,插入10万条,需要30分钟,单线程,逐条插入
改动后,插入10万条,只需1到2分钟
改动思路:
1、机器CPU是4核的,把串行的变成多线程的,4-6个线程,一般不超过CPU数量的2倍。
2、逐条插入变成1000条批量插入
3、由于是多线程,原有程序要修改,因为可能有键冲突,造成插入异常及其他不一致情况。