获取西刺代理的IP

最新推荐文章于 2020-02-15 19:14:37 发布

褶皱的包子

最新推荐文章于 2020-02-15 19:14:37 发布

阅读量1.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：爬虫爬虫项目汇总文章标签：代理池代理 ip

本文链接：https://blog.youkuaiyun.com/qq_37193537/article/details/89678468

本文介绍了如何在Python2.7环境下，利用requests和bs4库从西刺代理网站抓取代理IP数据，这些数据可以用于构建代理池或直接保存到文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

环境：Python2.7,requests,bs4,re,

获取数据的网址：西刺代理

得到的结果，后续可自行构建代理池或者保存文件：

代码段：

#coding=utf8
import requests
from bs4 import BeautifulSoup
import re
import os.path

user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5)'
headers = {'User-Agent': user_agent}


def getListProxies():
    session = requests.session()
    page = session.get("http://www.xicidaili.com/nn", headers=headers)
    soup = BeautifulSoup(page.text, 'lxml')

    proxyList = []
    taglist = soup.find_all('tr', attrs={'class': re.compile("(odd)|()")})
    for trtag in taglist:
        tdlist = trtag.find_all('td')
        proxy = {'http': tdlist[1].string + ':' + tdlist[2].string,