mongo数据库去重

最新推荐文章于 2024-07-12 06:34:22 发布

weixin_43883907

最新推荐文章于 2024-07-12 06:34:22 发布

阅读量294

点赞数

CC 4.0 BY-SA版权

分类专栏： mongo数据库去重文章标签： mongo数据库去重

本文链接：https://blog.youkuaiyun.com/weixin_43883907/article/details/85796811

mongo数据库去重专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种使用异步方式从数据库获取公司相关信息的方法，并实现对重复链接的数据进行去重处理，确保数据库中数据的唯一性，提高数据处理效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from collections import defaultdict

async def get_hash_value(company_name):
all_list = []
data = db.find({‘company_name’: company_name}, COLLECTION_DISCUSS, BASE, pon={‘link’: True})
for url in data:
all_list.append(url[‘link’])
return all_list

def list_duplicates(all_list):
tally = defaultdict(list)
for i, item in enumerate(all_list):
tally[item].append(i)
return ((key, locs) for key, locs in tally.items()
if len(locs) > 1)

async def pop_data(company_name):
company_list = await get_company_name()
for company in company_list:
# print(company)
company_name = company[‘stock_name’]
print(company_name)
pop_list = []
all_list = await get_hash_value(company_name)
for dup in sorted(list_duplicates(all_list)):
pop_list.append(dup)
for url in pop_list:
data = await database.find({‘company_name’: company_name,‘link’:url[0]}, COLLECTION_DISCUSS, BASE)
for i in data[1::]:
print(i[‘updated_at’])
await database.delete({‘updated_at’:i[‘updated_at’],‘company_name’:company_name},COLLECTION_DISCUSS, BASE)
print(‘删除成功’)
if not company_list:
return ‘删除完成’