Scrapy-Spiders 项目教程

Scrapy-Spiders 项目教程

scrapy-spidersCollection of python scripts I have created to crawl various websites, mostly for lead generation projects to match keywords and collect email addresses and post URLs项目地址:https://gitcode.com/gh_mirrors/sc/scrapy-spiders

1. 项目的目录结构及介绍

scrapy-spiders/
├── scrapy_spiders/
│   ├── __init__.py
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders/
│       ├── __init__.py
│       ├── example_spider.py
│       └── ...
├── scrapy.cfg
└── README.md

目录结构介绍

• scrapy_spiders/: 项目的主目录，包含了所有的 Scrapy 组件。
  • __init__.py: 初始化文件，使该目录成为一个 Python 包。
  • items.py: 定义了项目中使用的 Item 类，用于存储爬取的数据。
  • middlewares.py: 包含了自定义的中间件，用于处理请求和响应。
  • pipelines.py: 定义了数据处理管道，用于处理爬取的数据。
  • settings.py: 项目的配置文件，包含了 Scrapy 的各种设置。
  • spiders/: 存放所有爬虫的目录。
    • __init__.py: 初始化文件，使该目录成为一个 Python 包。
    • example_spider.py: 一个示例爬虫文件。
    • ...: 其他爬虫文件。
• scrapy.cfg: Scrapy 项目的配置文件，定义了项目的入口和设置。
• README.md: 项目的说明文档。

2. 项目的启动文件介绍

在 Scrapy 项目中，启动文件通常是 scrapy.cfg 文件。该文件定义了项目的入口和配置。

scrapy.cfg 文件内容示例

[settings]
default = scrapy_spiders.settings

[deploy]
#url = http://localhost:6800/
project = scrapy_spiders

启动文件介绍

• [settings]: 定义了默认的设置文件路径，这里是 scrapy_spiders.settings。
• [deploy]: 定义了部署相关的配置，如部署的 URL 和项目名称。

3. 项目的配置文件介绍

项目的配置文件是 scrapy_spiders/settings.py，该文件包含了 Scrapy 项目的各种配置选项。

settings.py 文件内容示例

BOT_NAME = 'scrapy_spiders'

SPIDER_MODULES = ['scrapy_spiders.spiders']
NEWSPIDER_MODULE = 'scrapy_spiders.spiders'

ROBOTSTXT_OBEY = True

ITEM_PIPELINES = {
    'scrapy_spiders.pipelines.ScrapySpidersPipeline': 300,
}

DOWNLOAD_DELAY = 2

配置文件介绍

• BOT_NAME: 定义了爬虫机器人的名称。
• SPIDER_MODULES: 定义了爬虫模块的路径。
• NEWSPIDER_MODULE: 定义了新爬虫的生成路径。
• ROBOTSTXT_OBEY: 是否遵守 robots.txt 规则。
• ITEM_PIPELINES: 定义了数据处理管道的配置。
• DOWNLOAD_DELAY: 定义了下载延迟时间，防止对目标网站造成过大压力。

通过以上内容，您可以了解 scrapy-spiders 项目的基本结构、启动文件和配置文件的详细信息。

scrapy-spidersCollection of python scripts I have created to crawl various websites, mostly for lead generation projects to match keywords and collect email addresses and post URLs项目地址:https://gitcode.com/gh_mirrors/sc/scrapy-spiders