ProxyPool 项目教程

ProxyPool 项目教程

proxy_pool 项目地址: https://gitcode.com/gh_mirrors/proxy/proxy_pool

1. 项目介绍

ProxyPool 是一个用于爬虫的代理 IP 池项目，主要功能包括定时采集网上发布的免费代理并验证入库，定时验证入库的代理以保证其可用性，并提供 API 和 CLI 两种使用方式。该项目旨在帮助爬虫开发者获取稳定可靠的代理 IP，提升爬虫的效率和稳定性。

2. 项目快速启动

2.1 下载代码

首先，从 GitHub 上克隆项目代码：

git clone https://github.com/xiaoou2/proxy_pool.git

2.2 安装依赖

进入项目目录并安装所需的 Python 依赖包：

cd proxy_pool
pip install -r requirements.txt

2.3 配置项目

在 setting.py 文件中配置项目参数，例如数据库连接信息、API 服务地址和端口等。

# setting.py
HOST = "0.0.0.0"  # API 服务地址
PORT = 5000       # API 服务端口
DB_CONN = 'redis://:pwd@127.0.0.1:8888/0'  # 数据库连接信息
PROXY_FETCHER = [
    "freeProxy01",  # 启用的代理抓取方法
    "freeProxy02",
    # 其他抓取方法
]

2.4 启动项目

启动调度程序和 API 服务：

# 启动调度程序
python proxyPool.py schedule

# 启动 API 服务
python proxyPool.py server

启动后，API 服务默认会在 http://127.0.0.1:5000 提供服务。

3. 应用案例和最佳实践

3.1 爬虫中使用代理

在爬虫代码中使用 ProxyPool 提供的代理 IP，可以有效避免 IP 被封禁的问题。以下是一个简单的示例：

import requests

def get_proxy():
    return requests.get("http://127.0.0.1:5000/get/").json()

def delete_proxy(proxy):
    requests.get("http://127.0.0.1:5000/delete/?proxy={}".format(proxy))

def get_html(url):
    retry_count = 5
    proxy = get_proxy().get("proxy")
    while retry_count > 0:
        try:
            html = requests.get(url, proxies={"http": "http://{}".format(proxy)})
            return html.text
        except Exception:
            retry_count -= 1
    delete_proxy(proxy)
    return None

# 使用代理访问网页
html = get_html("http://www.example.com")
print(html)

3.2 扩展代理源

ProxyPool 支持自定义代理源，开发者可以根据需要添加新的代理获取方法。以下是一个示例：

# fetcher/proxyFetcher.py
class ProxyFetcher(object):
    @staticmethod
    def freeProxyCustom1():
        proxies = ["x.x.x.x:3128", "x.x.x.x:80"]
        for proxy in proxies:
            yield proxy

# setting.py
PROXY_FETCHER = [
    "freeProxy01",
    "freeProxy02",
    "freeProxyCustom1"  # 添加自定义代理源
]

4. 典型生态项目

ProxyPool 可以与其他爬虫框架和工具结合使用，提升爬虫的效率和稳定性。以下是一些典型的生态项目：

• Scrapy: 一个强大的 Python 爬虫框架，可以与 ProxyPool 结合使用，通过中间件动态切换代理。
• Redis: 作为代理池的存储数据库，提供高效的存储和查询功能。
• Docker: 通过 Docker 容器化部署 ProxyPool，方便在不同环境中快速部署和运行。

通过这些生态项目的结合，ProxyPool 可以更好地服务于各种爬虫应用场景。

proxy_pool 项目地址: https://gitcode.com/gh_mirrors/proxy/proxy_pool