python 构建 ip 代理池以及简单的应用

最新推荐文章于 2025-11-11 16:58:46 发布

原创

最新推荐文章于 2025-11-11 16:58:46 发布 · 1.2k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

本文介绍了在Python中创建IP代理池的原因和过程，详细讲述了如何验证代理的有效性，并提供了一个简单的应用示例——利用代理池提升博客访问量。

背景摘要

由于最近在研究爬虫相关知识，有时在频繁获取(爬取)网站数据时会出现 ip 被限制的情况导致无法及时获取想要的数据，因此想着该搞个 ip proxy pool 啦，啥也不说开始干呗。

代码实现

import re
import json
import requests
import urllib
from lxml import etree


url = 'https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list'

class GetIpProxyPool(object):

    ping_url = 'https://blog.youkuaiyun.com/DanielJackZ/article/details/106870071'

    def __init__(self, url):
        self.url = url
        self.get_proxy_data()

    def get_proxy_data(self):
        result = requests.get(self.url).text
        self.store_data(result)

    def store_data(self, data):
        f = open('./res.txt', 'w+')
        f.write(data)
        f.close()

    def get_read_lines(self)