搭建用户、IP代理池（2.0版本）

最新推荐文章于 2025-05-19 13:39:14 发布

学py的小菜鸡

最新推荐文章于 2025-05-19 13:39:14 发布

阅读量658

点赞数 1

CC 4.0 BY-SA版权

文章标签： python

本文链接：https://blog.youkuaiyun.com/xuepydexiaocaiji/article/details/117049987

学爬虫要解决的问题不少，经常手滑疯狂请求某些好康的网站(^-^)导致自己的IP被封（伤害性不大，侮辱性极强），于是知道了代理IP的美妙。既然知道了解决方法，那么说干就干，一个星期自己写出来一个代理池，以下是一些说明吧。

本人白嫖党，所以爬取选择齐云代理上的免费代理，先验证代理IP的可用性，再保存到本地.txt文件中（注意每次使用代理IP都会监测IP文件的修改时间来决定是否刷新IP文件），同时附带了一个用户代理池，随机ua和ip。封装成一个UA_IP_Pool模块，使用时先 from UA_IP_Pool import *，再通过Get_UA()方法获得随机UA、Get_http_IP()方法获得随机协议为http的代理ip、Get_https_IP()方法获得随机协议为https的代理ip。具体代码实现如下：

#构建用户代理池和IP代理池


from urllib import request, error
import requests
import re
import os
import time
import random

#本地ip文件保存路径
fh_path = "C:\\Users\\kangheng\\Desktop\\Python_Learn\\ip_pool.txt"

#用户代理池
ua_pool = ["Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 "
        "(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
        "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 "
        "(KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 "
        "(KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 "
        "(KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 "
        "(KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 "
        "(KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 "
        "(KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "