Python爬虫代理IP的使用

最新推荐文章于 2025-04-21 13:31:15 发布

flexible_fatso

最新推荐文章于 2025-04-21 13:31:15 发布

阅读量6k

点赞数 8

文章标签： ip代理 python3 python爬虫

本文链接：https://blog.youkuaiyun.com/flexible_fatso/article/details/84753341

版权

做测试前需要先获取一个可用的代理，搜索引擎搜索“代理”关键字，就可以看到很多代理服务网站，会有很多免费代理可以使用，推荐www.xicidaili.com,以下是自动获取西刺代理网站的代理ip

# IP地址取自国内髙匿代理IP网站：http://www.xicidaili.com/nn/
# 仅仅爬取首页IP地址就足够一般使用
from bs4 import BeautifulSoup
import requests
import random

url = 'http://www.xicidaili.com/nn/'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'
  }
def get_ip_list(url, headers):
  web_data = requests.get(url, headers=headers)
  soup = BeautifulSoup(web_data.text, 'lxml')
  ips = soup.find_all('tr')
  ip_list = []
  for i in range(1, len(ips)):
    ip_info = ips[i]
    tds = ip_info.find_all('td')
    ip_list.append(tds[1].text + ':' + tds[2].text)
  return ip_list

def get_random_ip(ip_list):
  proxy_list = []
  for ip in ip_l