『爬虫四步走』手把手教你使用 Python 抓取并存储网页数据！

爬虫是 Python 的一个重要的应用，使用 Python 爬虫我们可以轻松的从互联网中抓取我们想要的数据

本文将基于爬取 B 站视频热搜榜单数据并存储为例，详细介绍 Python 爬虫的基本流程。

如果你还在入门爬虫阶段或者不清楚爬虫的具体工作流程，那么应该仔细阅读本文！

  第一步：尝试请求

首先进入 b 站首页，点击排行榜并复制链接

https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3

现在启动Jupyter notebook，并运行以下代码

import requests

url = 'https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3'
res = requests.get('url')
print(res.status_code)
#200

在上面的代码中，我们完成了下面三件事

• 导入requests

• 使用get方法构造请求

• 使用status_code获取网页状态码

可以看到返回值是200，表示服务器正常响应，这意味着我们可以继续进行

  第二步：解析页面

在上一步我们通过 requests 向网站请求数据后，成功得到一个包含服务器资源的 Response 对象，现在我们可以使用.text来查看其内容

可以看到返回一个字符串，里面有我们需要的热榜视频数据，但是直接从字符串中提取内容是比较复杂且低效的，因此我们需要对其进