Mongodb同时清理大量集合过期数据

前言:

      公司是做聊天APP的,离线消息全部存在mongodb中,每个人,每个群都会有一个集合.我的天一个小小的APP就是30万个集合.然而在这些集合肯定有一些死消息,研究了很久,网上很多资料,不是说配置定时索引,就是删数据.时间索引还不能用时间戳,而我们的项目只能用时间戳.

环境:

python 2.7

1安装pip                         yum install python-pip

2安装pymongo               pip install pymongo

数据制作:

为了减少对mongo的压力,用户数据和组数据都通过excel制作成数组

导出用户id和群id保存为user.txt   group.txt,并将其名字改为和mongodb中的集合名一样.(1_user,1_group)

将数据导入数组:

import sys                                                                  注:导入系统模块

result=[]

with open('user.txt') as f:                                            打开user文件

        for line in f:                                                         

               line=line.strip('\r\n')                                      文件数据都是一个用户占一行,取值时会有换行符,这里将其去掉

               result.append(line)                                       将数据增加到result数组中.

连接mongodb

from pymongo import MongoClient

conn= MongoClient('127.0.0.1',27017)

db=conn.mydb

for i in result:

          db[i].remove({"createtime":{'$lt':155557856562}})      注:数字开头的集合名只能这么写,不然系统不认.

重启mongodb

删除了数据,一看内存一点都没有降..只有重启了

use  admin

db.shutdownServer()