python爬虫代理池，再也不怕封IP了

最新推荐文章于 2025-06-21 16:08:02 发布

原创

最新推荐文章于 2025-06-21 16:08:02 发布 · 8.2k 阅读

33 ·

CC 4.0 BY-SA版权

文章标签：

#代理池 #爬虫 #python

本文介绍如何创建一个Python爬虫代理池，通过网上获取代理IP列表并保存，然后在爬取过程中随机选取IP作为代理，以避免因频繁请求导致的IP被封。示例代码展示了使用webdriver模拟Chrome浏览器进行爬取，成功时返回响应状态码200。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

思路：

先在从网上爬取一个代理列表，做代理池，并保存在本地http_list.txt和https_list.txt中，然后从中随机池取出一个ip做代理。

本代码是从用webdriver模拟chrome浏览器

http://www.xicidaili.com/上爬取的代理的（因为这个网站有发爬虫，就直接用webdriver快速搞定，这么一个小网站，就懒得去研究它的反爬了）。

爬取成功会返回响应代码200。

import random,requests,os
from selenium import webdriver
from lxml import etree

def req(url):
    # 设置多个 user-agent
    User_Agent = random.choice([
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
        "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
        "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win6