13、网络数据抓取挑战与解决方案及文本处理入门

网络数据抓取挑战与解决方案及文本处理入门

1. 表单登录处理

在网络数据抓取中，登录表单的处理是一个常见场景。可以通过定义一个函数来处理登录后的响应。以下是一个示例代码：

def after_login(self, response):
    if "This page is secured" in str(response.body):
        print("You have logged in ok!")

这个回调函数会检查响应内容中是否包含 “This page is secured” 字符串，如果包含则表明登录成功。当成功运行时，抓取器会输出如下信息：

Parsing: <200 http://localhost:5001/account/login?ReturnUrl=%2Fhome%2Fsecured>
Got a password page
You have logged in ok!

其工作原理是，当创建一个 FormRequest 时，Scrapy 会使用指定字典中的数据作为表单参数，构造一个 POST 请求并发送到服务器。服务器响应后，Scrapy 会调用指定的回调函数。

这种技术不仅适用于登录表单，还可用于各种 HTML 表单请求的自动化执行，如订单处理、搜索操作等。

2. 基本授权处理

一些网站使用基本授权（Basic Authorization）。在基本授权中，会在 HTTP 请求头中添加一