python MongoCache

最新推荐文章于 2025-04-13 22:58:23 发布

QQの喵

最新推荐文章于 2025-04-13 22:58:23 发布

阅读量215

点赞数 1

分类专栏：爬虫

本文链接：https://blog.youkuaiyun.com/Q1231234123/article/details/85131480

版权

爬虫专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一种使用MongoDB作为数据库缓存的实现方式，通过Python类MongoCache，实现了缓存的基本操作，如设置缓存项、获取缓存项、检查缓存项是否存在以及清空缓存。该缓存机制利用MongoDB的过期特性自动清理过期的缓存记录。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

class MongoCache(object):
    """
    数据库缓存
    """
    def __init__(self,client=None,expires=timedelta(days=30)):
        self.client = MongoClient("localhost",27017)
        self.db = self.client.cache
        self.db.webpage.create_index('timestamp',expireAfterSeconds=expires.total_seconds())


    def __setitem__(self, key, value):
        record = {"result":Binary(zlib.compress(pickle.dumps(value))),"timestamp":datetime.utcnow()}
        self.db.webpage.update({"_id":key},{'$set':record},upsert=True)

    def __getitem__(self, item):
        record = self.db.webpage.find_one({"_id":item})
        if record:
            return pickle.loads(zlib.decompress(record["result"]))
        else:
            raise KeyError(item + "does not exist")

    def __contains__(self, item):
        try:
            self[item]#调用getitem方法

        except KeyError:
            return False
        else:
            return True

    def clear(self):
        self.db.webpage.drop()
    
cai_url ="http://www.runoob.com/mongodb/mongodb-insert.html"

cai_mongo = MongoCache()

cai_mongo[cai_url]=requests.get(url=cai_url).content#调用__setitem__

print(cai_mongo[cai_url].decode('utf-8'))#调用__getitem__