本文介绍了一个使用Python编写的Scrapy爬虫项目的piplines组件案例，该组件负责将爬取的数据保存到MongoDB中。通过配置settings文件中的数据库连接参数，可以实现将爬取的item数据自动存入指定的MongoDB集合。
piplines.py:
from scrapy.conf import settings
import pymongo
class Mongo66Pipeline(object):
def __init__(self):
self.connection = pymongo.MongoClient(settings['MONHOST'],settings['MONPORT'])
db = self.connection[settings['MONDB']]
self.collection = db[settings['COLLECTION']]
def process_item(self, item,spider):
self.collection.insert(dict(item))
return itemsettings.py:
# mongodb连接配置
MONHOST = '192.168.6.24'
MONPORT = 27017
MONDB = 'mydb' #库名
COLLECTION = 'host' #表名
扫一扫
2302
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
