为什么要用Selenium？终于搞明白了很重要的一点

《解析Python网络爬虫 核心技术、Scrapy框架、分布式爬虫》【作者】黑马程序员编著，书中有以下一段话：

找个真实的网页，看一看就明白了。比如：

https://www.toutiao.com/search/?keyword=风景

点击上面的网页，能够看到网址不变，但是下拉的时候，会不断加载页面（也就是实现了翻页的功能）

——所以重点来了，要实现 这种网页的爬虫， 你必须知道它是怎么实现翻页的，不然你只能requests.get()得到如下的源代码，重要的信息一个看不到，真是一点用都没有，如下图：

 

——所以有必要使用selenuim，同志们！！！

先研究一下如何翻页的。

那要看看它是怎么翻页的？步骤如下：

第一步，查看网页源代码。右键检查。不断下拉，然后查看network。