Python爬虫获取代理ip及端口

最新推荐文章于 2024-12-05 11:04:34 发布

原创

最新推荐文章于 2024-12-05 11:04:34 发布 · 3.4k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#Python #爬虫 #代理ip #端口

本文介绍了如何使用Python编写爬虫程序，从网络上抓取可用的代理IP地址及其对应的端口号。通过解析网页源码，筛选有效数据，并进行验证，确保获取的代理IP可以用于网络请求，提升数据抓取效率。

'''
爬取代理ip
可以作为模块使用，在使用代理ip的时候直接调用该模块即可。
'''
import re
import urllib.request

def ExtractIP(url='http://www.xicidaili.com/'):
    headers = {
  
  'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0'}

    # urllib.request.Request（）用于向服务端发送请求，就如 http 协议客户端向服务端发送请求 POST
    # 添加了一个头部，伪装成浏览器,此时的url并不是一个裸露的url，而是具有header头部的url
    req = urllib.request.Request(url=url, headers=headers)

    response = urllib.request.urlopen(req)
    html = response.read().decode('utf-8'