《探秘Python：如何爬取代理并进行超实用的网络爬虫操作》

利用python进行代理ip爬取

源码

import requests
import parsel
import time

pages = 4
header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36 Edg/89.0.774.54'
}

# 打开文件以写入模式
with open('ip_ports.txt', 'w') as file:
    for page in range(1, pages + 1):
        print('正在爬取第{}页'.format(page))
        url = 'https://www.89ip.cn/index_{}.html'
        try:
            res = requests.get(url.format(page), headers=header, verify=False)
            res.raise_for_status()  # 检查请求是否成功
            sel = parsel.Selector(res.text)
            ip_list = sel.xpath('//tr')[1:]
            for i in ip_list:
                ip = i.xpath('./td[1]/text()').get().strip()
                port = i.xpath('./td[2]/text()').get().strip()
                ip_port = f'{ip}:{port}\n'
                print(ip_port, end='')
                file.write(ip_port)  # 将结果写入文件
        except requests.exceptions.RequestException as e:
            print(f'请求出错: {e}')
        time.sleep(1)

print("爬取完成，结果已保存到ip_ports.txt文件中")

源码讲解

这段代码是一个简单的Python爬虫程序，用于从指定的网站（https://www.89ip.cn/）抓取IP地址和端口号，并将结果保存到一个名为ip_ports.txt的文本文件中。以下是对代码的详细分析：

导入模块

import requests
import parsel
import time

• requests：用于发送HTTP请求。

• parsel：用于解析HTML内容。

• time：用于在请求之间添加延迟。

定义变量

pages = 4
header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36 Edg/89.0.774.54'
}

• pages：定义要爬取的页数，这里是4页。

• header：设置请求头，模拟浏览器访问，以避免被网站屏蔽。

打开文件

with open('ip_ports.txt', 'w') as file:

• 使用with语句打开一个名为ip_ports.txt的文件，并以写入模式（'w'）打开。这样可以确保文件在操作完成后自动关闭。

循环爬取每一页

for page in range(1, pages + 1):
    print('正在爬取第{}页'.format(page))
    url = 'https://www.89ip.cn/index_{}.html'

• 使用for循环遍历从1到pages（这里是4）的页码。

• 构造每一页的URL。

发送HTTP请求

try:
    res = requests.get(url.format(page), headers=header, verify=False)
    res.raise_for_status()  # 检查请求是否成功

• 使用requests.get发送GET请求，并传递URL和请求头。

• verify=False：禁用SSL证书验证（不推荐在生产环境中使用）。

• res.raise_for_status()：检查请求是否成功，如果失败则抛出异常。

解析HTML内容

sel = parsel.Selector(res.text)
ip_list = sel.xpath('//tr')[1:]

• 使用parsel.Selector解析HTML内容。

• 使用XPath选择器提取所有<tr>元素，并跳过第一个（通常是表头）。

提取IP和端口

for i in ip_list:
    ip = i.xpath('./td[1]/text()').get().strip()
    port = i.xpath('./td[2]/text()').get().strip()
    ip_port = f'{ip}:{port}\n'
    print(ip_port, end='')
    file.write(ip_port)  # 将结果写入文件

• 遍历每个<tr>元素，提取第一个和第二个<td>元素的文本内容（IP和端口）。

• 使用strip()去除空白字符。

• 将IP和端口格式化为字符串，并写入文件。

异常处理

except requests.exceptions.RequestException as e:
    print(f'请求出错: {e}')

• 捕获并处理所有requests.exceptions.RequestException异常，打印错误信息。

添加延迟

time.sleep(1)

• 在每次请求后暂停1秒，以避免对目标网站造成过大压力。

完成提示

print("爬取完成，结果已保存到ip_ports.txt文件中")

• 爬取完成后，打印提示信息。

总结

这段代码实现了一个简单的网页爬虫，用于从指定网站抓取IP地址和端口号，并将结果保存到本地文件中。通过使用requests库发送HTTP请求，parsel库解析HTML内容，并添加适当的延迟和异常处理，确保了爬虫的稳定性和可靠性。

代码安全性及意图

这段代码的意图是编写一个网络爬虫程序，用于从一个提供IP地址和端口号的网站（在这个例子中是https://www.89ip.cn/）抓取数据。爬虫程序的目的是自动访问网页，提取所需的信息（这里是IP地址和端口号），然后将这些信息保存到一个文本文件中，以便后续使用。

具体来说，这段代码的意图包括：

1. 自动化数据抓取：通过编写脚本自动访问网页并提取数据，而不是手动复制粘贴。

2. 数据存储：将抓取到的IP地址和端口号保存到一个文本文件中，方便后续的数据处理或使用。

3. 模拟浏览器行为：通过设置User-Agent请求头，模拟浏览器访问，以避免被网站的反爬虫机制屏蔽。

4. 错误处理：使用异常处理机制来捕获和处理网络请求中可能出现的错误，如连接失败、超时等。

5. 遵守爬虫礼仪：通过在每次请求之间添加1秒的延迟，避免对目标网站造成过大的访问压力，这是一种遵守网络爬虫礼仪的做法。

6. 灵活性：通过定义变量pages来控制要爬取的页数，使得程序可以根据需要轻松地调整抓取的范围。

7. 可读性和维护性：代码结构清晰，注释和打印语句有助于理解程序的执行流程和状态。

总的来说，这段代码的目的是实现一个简单、有效的网络爬虫，用于自动化地从特定网站抓取IP地址和端口号，并将这些数据保存到本地文件中。