简单的免费代理池的爬取

最新推荐文章于 2025-05-18 14:43:17 发布

MingrenChen

最新推荐文章于 2025-05-18 14:43:17 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签：免费爬虫代理

本文链接：https://blog.youkuaiyun.com/m0_37665900/article/details/78008169

在进行Scrapy爬虫工作时遇到IP被目标网站封锁的问题，为了解决这一问题，作者编写了一个小脚本，用于从国外免费代理网站抓取代理。由于Xici代理无法正常使用，作者选择了其他来源，详细代码如下。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前几天做Scrapy爬虫的时候被某网站ban了，于是写了一个爬取代理池的小程序。不知道为什么xici的代理全部报错，于是找了个国外的免费代理网站爬取,

网址是

https://free-proxy-list.net/

直接放代码。

# coding:utf-8

import queue
import threading

import requests
from bs4 import BeautifulSoup


class ProxyGetter:
    def __init__(self, num=300):
        # num 代表爬取代理地址的数目，默认为全部爬取，也就是300.
        self.num = num
        self.url = "https://free-proxy-list.net/"
        # 伪装response的header
        self.header = {"User-Agent": 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0'}
        self.q = queue.Queue()
        self.Lock = threading.Lock()

    def get_ips(self):
        # 把爬取的代理地址存储在当前文件夹list.txt文件中。
        with open("list.txt", "w") as l:
            res = requests.get(self.url, headers=self.header)
            soup = BeautifulSoup(res.text, 'lxml')
            a = soup.find_all('tbody')[0].find_all(