python爬取知乎热榜了解时事
需求
知乎热榜是我们了解时事的一个重要途径,但是如果我们每天没有那么多时间来刷知乎,但是还是想要了解知乎热榜的话,我们该怎么办呢?在这里,我想到了通过知乎爬虫的手段,获取知乎热榜的标题和简介,保存到本地文件,从而获取到每一天的知乎热榜内容,这样,我们只需要查看本地文件内容,就可以快速的了解今天一天的时事。
设计
首先进入知乎热榜的界面,链接为
https://www.zhihu.com/billboard
进入链接后可看到如下页面:
右键检查打开开发者工具,首先选择网络进行抓包:
通过网络进行抓包,查看billboard文件,进行预览,可以看见在知乎热榜界面的内容基本都可以看见(提示:如果出现不可预览,可试着禁用JavaScrip在进行抓包),所以,获取热榜标题,我们可以直接在代码树(element)中得到。