利用python获取IP资源池的方法

最新推荐文章于 2023-12-26 16:22:10 发布

原创

最新推荐文章于 2023-12-26 16:22:10 发布 · 1.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

本文介绍了一种基于Python和PostgreSQL构建高效IP代理池的方法，通过多线程和队列提高代理验证效率，确保爬虫项目的稳定运行。

在使用爬虫的时候，经常会遇到IP被禁止的情况，所以一般都需要一个资源池来提高降低风险

以下代码中，基于python3.7，数据库用的是POSTGRESQL11，为了效率使用了队列，程序结构如下：

bin/proxy_pools.py

log/proxy_pools.log

IP来源于github，网址：https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list

import requests,re,random,psycopg2,logging,threading,time
from fake_useragent import UserAgent
from os import path
from queue import Queue

class Proxy_pools:
    
    #程序路径初始化
    program_path = path.dirname(path.dirname(path.abspath(__file__)))
    
    #网址链接初始化
    PROXY_URL = "https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list"
    CHECK_URL1 = "https://www.baidu.com"
    CHECK_URL2 = "https://httpbin.org/ip"
    #数据库模块初始化
    INSERT_ACTIVE = "INSERT INTO spider_ip_pools_active(TYPE, URL, STATUS) VALUES('{0}', '{1}', '{2}');"
    SELECT_ACTIVE = "select 1 from spider_ip_pools_active where TYPE='{0}' and URL='{1}';" 
    conn = psycopg2.connect(host="127.0.0.1", user="root", password="000000", dbname="mysite", port=9527)
    cur = conn.cursor()
    #日志模块初始化
    logfile = program_path + '/log/proxy_pools.log'
    logger = logging.getLogger(__name__)
    logger.setLevel(level = logging.IN