6、构建第一个网页抓取应用

构建第一个网页抓取应用

在当今信息爆炸的时代，互联网和万维网（WWW）无疑是最主要的信息来源。大部分信息都可以通过HTTP协议获取，它最初就是为了共享超文本页面而发明的，从而开启了万维网的时代。我们可以通过编程的方式自动执行HTTP操作，来检索和处理信息。Python标准库中自带了HTTP客户端，但 requests 模块让获取网页变得更加简单。本文将详细介绍如何使用Python构建一个简单的网页抓取应用。

一、下载网页

下载网页的基本操作是对一个URL发起HTTP GET请求，这也是任何网页浏览器的基本操作。该操作包含三个关键要素：
1. 使用HTTP协议 ：规定了请求的结构方式。
2. 使用GET方法 ：这是最常见的HTTP方法，后续在访问Web API时会有更多介绍。
3. 完整的URL ：描述了页面的地址，包括服务器（如 mypage.com ）和路径（如 /page ）。

请求会通过互联网路由到服务器，服务器处理后会返回响应。响应包含状态码（通常成功时为200）和结果主体，一般是HTML页面的文本。

操作步骤

1. 安装 requests 模块 ：

$ echo "requests==2.23.0" >> require