如何爬取审查元素中Elements里有的，而源代码里没有的标签内容？

写在最前：

有些网页采用了异步加载的方式，将部分内容放在了其他的URL地址中，导致我们通过审查元素可以在相应的标签找到该内容，但在检查源代码的时候发现没有该内容，自然通过当前的url爬取不到目标数据。

解决方法

找到加载过程中加载的需要动态异步加载的json文件，获取它的URL地址。

以某网站（巨潮资讯网）为例：

网址：

http://www.cninfo.com.cn/new/fulltextSearch?notautosubmit=&keyWord=%E8%82%A1%E7%A5%A8%E8%B4%A8%E6%8A%BC&login=from_csdn

这里我们尝试去爬取搜索结果，发现放置“搜索结果”的这部分网页源代码中看不到。

如何抓取被隐藏的数据？

我们在搜索结果页右键点击检查，进入审查页 ——> 再点击Network选项卡 ——> 点击XHR