本案例进行一下中场休息,给大家带来一篇如何通过开发者工具定位接口的案例。
目标站点分析
在正式学习之前,首先要明确一点:目前各大视频站点,例如 爱奇艺,优酷,芒果 TV,腾讯视频,它们的视频和评论内容都是存在版权的,所以针对以上站点的任何采集,都属于侵权行为哦~
本次爬虫采集涉及的网站,全部进行了脱敏处理,原版文章建议从 【78 技术人社群~Python 分部】 寻找。
本次案例要采集的目标站点,你可以选择任意平台进行测试,它们逻辑一致。本次目标数据为电视剧相关评论内容。
首先通过下拉发现评论的加载为异步加载,即通过服务器调用接口进行返回,顾查找到对应接口是核心突破点。
但是当启用开发者工具之后,发现页面存在太多的请求,视频加载,广告加载,图片加载非常多,导致评论的接口很难被检测出。