scrapy整合django

Andy in boots

于 2021-08-02 20:27:16 发布

阅读量613

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/An_dy_code/article/details/119333342

爬虫专栏收录该内容

1 篇文章

订阅专栏

本文介绍如何在Django项目中整合Scrapy爬虫框架，包括配置环境、安装依赖包、定义模型及实现数据保存的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

                    
                    在django下创建scrapy项目
修改scrapy的setting.py文件为：

(1)	import os

(2)	import sys

(3)	sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(’.’))))

(4)	os.environ[‘DJANGO_SETTINGS_MODULE’] = ‘zhenghe.settings’

(5)	# 手动初始化Django：

(6)	import django

(7)	django.setup()
下载scrapy与django的连接包:scrapy_djangoitem
在scrapy的itmes.py中引入django的models

如：from scrapy_djangoitem import DjangoItem

from moviesite.models import Movie

class DoubanItem(DjangoItem):

django_model = Movie

Pass
在管道文件中直接item.save()即可