python如何爬取javascript脚本_Python爬虫实战入门五:获取JS动态内容—爬取今日头条...

本文介绍了如何使用Python爬取JavaScript动态生成的网页内容,以今日头条为例,通过查找JS请求的数据接口,获取并解析JSON数据,从而获取新闻标题、图片和链接。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

之前我们爬取的网页,多是HTML静态生成的内容,直接从HTML源码中就能找到看到的数据和内容,然而并不是所有的网页都是这样的。

有一些网站的内容由前端的JS动态生成,由于呈现在网页上的内容是由JS生成而来,我们能够在浏览器上看得到,但是在HTML源码中却发现不了。比如今日头条:

浏览器呈现的网页是这样的:

查看源码,却是这样的:

网页的新闻在HTML源码中一条都找不到,全是由JS动态生成加载。

遇到这种情况,我们应该如何对网页进行爬取呢?有两种方法:

1、从网页响应中找到JS脚本返回的JSON数据;2、使用Selenium对网页进行模拟访问

在此只对第一种方法作介绍,关于Selenium的使用,后面有专门的一篇。

一、从网页响应中找到JS脚本返回的JSON数据

即使网页内容是由JS动态生成加载的,JS也需要对某个接口进行调用,并根据接口返回的JSON数据再进行加载和渲染。

所以我们可以找到JS调用的数据接口,从数据接口中找到网页中最后呈现的数据。

就以今日头条为例来演示:

1、从找到JS请求的数据接口

F12打开网页调试工具

选择“网络”选项卡后,发现有很多响应,我们筛选一下,只看XHR响应。

(XHR是Ajax中的概念,表示XMLHTTPrequest)

然后我们发现少了很多链接,随便点开一个看看:

我们选择city,预览中有一串json数据:

我们再点开看看:

原来全都是城市的列表,应该是加载地区新闻之用的。

现在大概了解了怎么找JS请求的接口的吧?但是刚刚我们并没有发现想要的新闻,再找找看:

有一个focus,我们点开看看:

与首页的图片新闻呈现的数据是一样的,那么数据应该就在这里

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值