mongodb遍历万亿级数据，论索引的重要性

【背景】有160万用户账号数据，200万终端账号数据，需要在160万用户账号数据中排除所有账号数据，那就需要遍历 160万 * 200万 = 3200000000000 次运算 ，3万2000亿次！

 

用mongodbimport的upsert 命令  

mongoimport --db xxx --host xxx --port 27017 --username xxx--password xxx --collection xxx --type csv --headerline --upsertFields uid --file /data/xxx/xxx.csv --numInsertionWorkers 8 

这个命令会把找到的数据替换调，举例：原有集合 uid，aa，bb      xxx.csv 里面的数据 uid,cc     这个命令执行之后，新的集合数据为  uid，cc          数据被替换了，如果你想添加字段，弄成 uid，aa，bb，cc 这样，mongoimport这个命令貌似是不支持的，需要自己用程序实现。

言归正传，这个命令跑起来非常慢，一个小时更新几十k的数据，我突然想到用增加索引试一试，db.xxx.ensureIndex({"uid":1});   没想到啊！ 这么命令执行之后，效果立竿见影，速度一下就上来了，剩下的数据，总共27.7MB （建序列之前，跑了2个多小时，跑了88KB） 40分钟跑完！

牛逼了！ 索引    32k亿次运算啊