scrapy爬虫数据入mongodb库

最新推荐文章于 2024-12-08 21:44:00 发布

原创最新推荐文章于 2024-12-08 21:44:00 发布 · 327 阅读

2 ·

CC 4.0 BY-SA版权

本文详细介绍如何使用Python的PyMongo库操作MongoDB数据库。从安装PyMongo开始，到连接数据库，选择集合，直至实现数据的插入，每一步都附有具体代码示例。文章最后强调了在settings文件中正确配置管道的重要性。

首先我们要安装Python的PyMongo库，运行 ‘pip install pymongo’ 命令即完成pymongo的安装。
第一步，先连接mongodb。
第二步，选择数据库或集合。
第三步，插入数据。

在管道文件中写入如下代码。

from pymongo import MongoClient

class Python123DemoPipeline(object):

    def __init__(self):
        client = MongoClient(host='127.0.0.1', port=27017)  # 创建连接
        db = client['novel'] # 连接的数据库
        self.collection = db['douluo']# 连接的表
    def process_item(self, item, spider):
        self.collection.insert(dict(item))#插入数据
        return item

记得在setting文件中开启管道。