ProxyBroker 使用教程

ProxyBroker 使用教程

【免费下载链接】ProxyBroker Proxy [Finder | Checker | Server]. HTTP(S) & SOCKS :performing_arts: 项目地址: https://gitcode.com/gh_mirrors/pr/ProxyBroker

项目介绍

ProxyBroker 是一个开源工具，用于异步地从多个来源查找公共代理并同时检查它们。它支持 HTTP(S) 和 SOCKS4/5 协议，并可以作为代理服务器运行，将传入请求分发到外部代理，并自动轮换代理。ProxyBroker 能够从大约 50 个来源找到超过 7000 个工作代理，并支持根据类型、匿名级别、响应时间、国家以及 DNSBL 状态过滤代理。

项目快速启动

安装

首先，确保你已经安装了 Python 3.5 或更高版本。然后使用 pip 安装 ProxyBroker：

pip install proxybroker

基本使用

以下是一个简单的示例，展示如何查找并显示 10 个来自美国的 HTTP(S) 高匿名代理：

proxybroker find --types HTTP HTTPS --lvl High --countries US --strict -l 10

应用案例和最佳实践

案例一：抓取代理并保存到文件

在某些情况下，你可能需要抓取代理并将其保存到文件中，以便后续使用：

proxybroker grab --countries US --limit 10 --outfile /proxies.txt

案例二：运行本地代理服务器

你可以运行一个本地代理服务器，该服务器会自动轮换外部代理：

proxybroker serve --host 127.0.0.1 --port 8888 --types HTTP HTTPS --lvl High

典型生态项目

ProxyBroker 可以与其他网络爬虫工具结合使用，例如 Scrapy。通过在 Scrapy 中配置代理，可以有效地绕过某些网站的 IP 限制，提高爬取效率。

Scrapy 配置示例

在 Scrapy 项目的 settings.py 文件中添加以下配置：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
    'your_project.middlewares.ProxyMiddleware': 100,
}

PROXY_LIST = '/path/to/proxies.txt'

然后在 middlewares.py 中实现 ProxyMiddleware：

import random

class ProxyMiddleware:
    def __init__(self, proxy_list):
        self.proxy_list = proxy_list

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler.settings.get('PROXY_LIST'))

    def process_request(self, request, spider):
        proxy = random.choice(self.proxy_list)
        request.meta['proxy'] = proxy

通过这种方式，你可以利用 ProxyBroker 提供的代理来增强 Scrapy 的爬取能力。

【免费下载链接】ProxyBroker Proxy [Finder | Checker | Server]. HTTP(S) & SOCKS :performing_arts: 项目地址: https://gitcode.com/gh_mirrors/pr/ProxyBroker