Python获取ip代理初步（一）

最新推荐文章于 2024-04-01 15:20:06 发布

Rustone

最新推荐文章于 2024-04-01 15:20:06 发布

阅读量719

点赞数

分类专栏： Python3 文章标签： Python ip 代理

本文链接：https://blog.youkuaiyun.com/m0_37360684/article/details/104053026

版权

本文介绍了Python获取IP代理的初步方法，包括代码实现、遇到的问题及解决方案。存在的问题主要包括：获取的IP可能无效，HTTP与HTTPS代理的适用性不同，缺少IP管理与更新机制，以及仅获取了首页IP。参考了多个优快云博客资源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、获取ip代理代码：

# IP地址取自国内髙匿代理IP网站：http://www.xicidaili.com/nn/
# 爬取首页IP地址，分为HTTPS和HTTP两类
# 随机获取一个http的代理（注意：有可能选择到的这个ip代理不可用）
from bs4 import BeautifulSoup
import requests
import random


url = 'https://www.xicidaili.com/nn'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) '
                         'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'}


def get_ip_list(url, headers):
    try:
        webdata = requests.get(url, headers=headers, timeout=10)
        print(webdata.status_code)
        soup = BeautifulSoup(webdata.text, 'html.parser')
        ips = soup.find_all('tr')
        # print(ips)
        ips = ips[1:]     # 因为第1个tr里面没有td
        # for item in ips:
        #     print(item)
        ip_httpslist1 = []
        ip_httplist1 = []
        for i in ra