mongodb去重pymongo实现

最新推荐文章于 2024-05-02 15:28:47 发布

作小寒

最新推荐文章于 2024-05-02 15:28:47 发布

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/qq_34069180/article/details/84981512

python 专栏收录该内容

109 篇文章

订阅专栏

本文介绍了一种使用Python和pymongo库对MongoDB数据库进行数据清洗和去重的方法。通过查找并删除重复记录，确保数据集的准确性和效率。此过程包括连接到本地MongoDB服务器，从特定集合读取数据，去除重复项，并将清洗后的数据保存到新的数据库集合中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: UTF-8 -*-
_author_ = 'zy'
_date_ = '2018/12/13 0013 0:01'
import pymongo

def savedb(dbname,data):
    client = pymongo.MongoClient('127.0.0.1', 27017)  # 缺少一步骤进行属性的清洗操作，确定是否有这个值
    db = client.weibo
    db[dbname].insert(data)

def dealwith(dbname,dbnew):
    client = pymongo.MongoClient('127.0.0.1', 27017)  # 缺少一步骤进行属性的清洗操作，确定是否有这个值
    db = client.weibo
    cursor=db[dbname].find()
    list=[]
    for i in cursor:
        id=i['weibo_id']
        if id in list:
            pass
        else:
            list.append(id)
            data={
                'weibo_id':i['weibo_id'],
                'created':i['created'],
                'uid_name':i['uid_name'],
                'uid':i['uid'],
                'level':i['level'],
                'area':i['area'],
                'url':i['area'],
                'text':i['comment'],#area
                'area':i['area'],
            }
            savedb(dbnew,data)
    begin=db[dbname].count()
    after=len(list)
    print('去重前'+str(begin)+'去重后'+str(after))
#4132
if __name__=='__main__':
  dealwith('all','new_comment')