Scrapy和Splash爬取iframe标签里的内容

最新推荐文章于 2024-07-30 11:43:13 发布

pcengineercn

最新推荐文章于 2024-07-30 11:43:13 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签： scrapy splash lua脚本

本文链接：https://blog.youkuaiyun.com/pcengineercn/article/details/100796342

爬虫专栏收录该内容

9 篇文章

订阅专栏

本文介绍了一种使用Lua脚本和Splash浏览器自动化工具抓取网页中iframe内容的方法，通过定义Lua函数并利用Scrapy框架实现自动化爬取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Lua脚本

function main(splash, args)
  splash:go(args.url)
  splash:wait(args.wait)
  splash:runjs("iframe = function(){ 
    var f = document.getElementById('g_iframe'); 
    return f.contentDocument.getElementsByTagName('body')[0].innerHTML; 
  }")
  local result = splash:evaljs("iframe()")
  return result
end

配置好scrapy和splash后，就可以爬取到iframe标签里的内容了

github地址 https://github.com/ggsgit/NetEaseCloudMusic