First:
scrapy 框架的项目目录结构:

Second:
scrapy.cfg文件:主要是爬虫项目的配置文件
hexunpjt/hexunpjt/__init__.py 文件:项目的初始化文件,主要写的是一些项目初始化信息。
hexunpjt/hexunpjt/items.py 文件:爬虫项目的数据容器文件,主要用来定义我们要获取的数据。
hexunpjt/hexunpjt/pipelines.py 文件:爬虫项目的管道文件,主要用来对 items 里定义的数据进行进一步的加工与处理。
hexunpjt/hexunpjt/settings.py 文件:爬虫项目的设置文件,主要为爬虫项目的一些设置信息。
spiders 文件夹:爬虫项目中的爬虫部分相关的文件。
hexunpjt/hexunpjt/spiders/__init__.py 文件:爬虫项目中爬虫部分的初始化文件,主要对 spiders 进行初始化。

本文介绍了Python爬虫框架Scrapy的项目目录结构,包括scrapy.cfg配置文件、items.py数据容器、pipelines.py处理管道、settings.py设置文件以及spiders文件夹中的爬虫代码。这些组件协同工作,实现数据抓取和处理。
2098

被折叠的 条评论
为什么被折叠?



