本文探讨了使用Scrapy爬虫抓取豆瓣电影信息时遇到的问题：仅能保存每页第一个数据。通过配置settings.py文件，设置了ApperyIoPipeline为数据管道，详细介绍了与Appery.io数据库连接的相关参数。
https://www.jianshu.com/p/8773f77a6eb6原文链接
存储的数据只能保存爬取的每一页的第一个数据不知道为什么，此链接到‘创建手机链接’不可用
在 seeting.py 里面设置
ITEM_PIPELINES = {'scrapyapperyio.ApperyIoPipeline':300}
APPERYIO_DB_ID = 'API'
APPERYIO_USERNAME = 'root'
APPERYIO_PASSWORD = 'pass'
APPERYIO_COLLECTION_NAME = 'douban_movie_info'
扫一扫
586
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
