scrapy 使用pipeline写入数据到mongoDB

最新推荐文章于 2024-06-14 14:52:32 发布

正在努力学习的zz

最新推荐文章于 2024-06-14 14:52:32 发布

阅读量1.8k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： mongodb python 文章标签： python mongodb

本文链接：https://blog.youkuaiyun.com/u014775723/article/details/86365449

本文介绍了如何利用Scrapy的Item pipeline将爬取的数据存储到MongoDB数据库中，包括在setting.py中配置，以及在pipeline.py中定义MongoDBPipline类，详细阐述了open_spider和close_spider方法的使用，用于建立和关闭数据库连接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简述

Item在Spider中被收集后，会传入Item pipeline中进行处理。Item pipeline当中的类负责接收Item，并对item执行一些操作（清理，丢弃，验证，去重，存数据库等）。

在setting.py文件中进行配置

# mongodb数据库相关连接
MONGO_DB_URI = '127.0.0.1'
MONGO_DB_PORT = 27017
MONGO_DB_NAME = 'doubanDetail'
# Configure item pipelines
ITEM_PIPELINES = {
    'douban.pipelines.MongoDBPipleline': 300,
}

在pipeline.py文件中创建类MongoDBPipleline

from douban.items import DoubanItem
import pymongo

class DoubanPipeline(object):
    def process_item(self, item, spider):
        return item

class MongoDBPipleline(object):
    """将item写入MongoDB"""
    def __init__(self):
        """获取mongoDB的连接，获取数据库doubanDetail,获取集合newBookDetail"""
        client = pymongo.MongoClient('localhost', 27017)
        db = client.doubanDetail
        self.newBookDetail = db.newBookDetail
    @classmethod
    def from_crawler(cls, crawler):
        cls.DB_URL = crawle