Python爬虫获取代理ip及端口

最新推荐文章于 2025-04-21 13:31:15 发布

jasonLee_lijiaqi

最新推荐文章于 2025-04-21 13:31:15 发布

阅读量3.3k

点赞数 1

分类专栏： python学习文章标签： Python 爬虫代理ip 端口

本文链接：https://blog.youkuaiyun.com/jasonLee_lijiaqi/article/details/79459287

版权

本文介绍了如何使用Python编写爬虫程序，从网络上抓取可用的代理IP地址及其对应的端口号。通过解析网页源码，筛选有效数据，并进行验证，确保获取的代理IP可以用于网络请求，提升数据抓取效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

'''
爬取代理ip
可以作为模块使用，在使用代理ip的时候直接调用该模块即可。
'''
import re
import urllib.request

def ExtractIP(url='http://www.xicidaili.com/'):
    headers = {
  'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0'}

    # urllib.request.Request（）用于向服务端发送请求，就如 http 协议客户端向服务端发送请求 POST
    # 添加了一个头部，伪装成浏览器,此时的url并不是一个裸露的url，而是具有header头部的url
    req = urllib.request.Request(url=url, headers=headers)

    resp