Scrapy-Proxies 项目使用教程

Scrapy-Proxies 项目使用教程

scrapy-proxiesRandom proxy middleware for Scrapy 项目地址:https://gitcode.com/gh_mirrors/sc/scrapy-proxies

1. 项目的目录结构及介绍

Scrapy-Proxies 项目的目录结构如下：

scrapy-proxies/
├── LICENSE.txt
├── README.md
├── setup.py
└── scrapy_proxies/
    ├── __init__.py
    ├── middlewares.py
    └── settings.py

目录结构介绍

• LICENSE.txt: 项目许可证文件，采用 MIT 许可证。
• README.md: 项目说明文档，包含项目的基本介绍和使用方法。
• setup.py: 项目安装脚本，用于通过 pip 安装项目。
• scrapy_proxies/: 项目的主要代码目录。
  • __init__.py: 模块初始化文件。
  • middlewares.py: 包含随机代理中间件的实现。
  • settings.py: 项目的配置文件，包含代理设置和其他配置选项。

2. 项目的启动文件介绍

Scrapy-Proxies 项目没有明确的启动文件，因为它是一个中间件插件，需要集成到 Scrapy 项目中使用。通常，你需要在你的 Scrapy 项目中引入 scrapy_proxies 中间件，并在 settings.py 中进行相应的配置。

3. 项目的配置文件介绍

Scrapy-Proxies 项目的配置文件主要位于 scrapy_proxies/settings.py 中。以下是一些关键配置项的介绍：

代理设置

# 代理列表文件路径
PROXY_LIST = '/path/to/proxy/list.txt'

# 代理模式
# 0 = 每个请求使用不同的代理
# 1 = 从列表中选择一个代理并用于所有请求
# 2 = 使用自定义代理
PROXY_MODE = 0

# 如果代理模式为 2，设置自定义代理
# CUSTOM_PROXY = "http://host1:port"

重试设置

# 重试次数
RETRY_TIMES = 10

# 重试的 HTTP 状态码
RETRY_HTTP_CODES = [500, 503, 504, 400, 403, 404, 408]

下载中间件设置

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 90,
    'scrapy_proxies.RandomProxy': 100,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
}

通过这些配置项，你可以灵活地设置代理和重试策略，以适应不同的爬取需求。

---

以上是 Scrapy-Proxies 项目的基本使用教程，希望对你有所帮助。

scrapy-proxiesRandom proxy middleware for Scrapy 项目地址:https://gitcode.com/gh_mirrors/sc/scrapy-proxies