Scrapy和Splash爬取iframe标签里的内容

最新推荐文章于 2025-01-08 10:30:15 发布

原创最新推荐文章于 2025-01-08 10:30:15 发布 · 1.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#scrapy #splash #lua脚本

爬虫专栏收录该内容

9 篇文章

订阅专栏

本文介绍了一种使用Lua脚本和Splash浏览器自动化工具抓取网页中iframe内容的方法，通过定义Lua函数并利用Scrapy框架实现自动化爬取。

Lua脚本

function main(splash, args)
  splash:go(args.url)
  splash:wait(args.wait)
  splash:runjs("iframe = function(){ 
    var f = document.getElementById('g_iframe'); 
    return f.contentDocument.getElementsByTagName('body')[0].innerHTML; 
  }")
  local result = splash:evaljs("iframe()")
  return result
end

配置好scrapy和splash后，就可以爬取到iframe标签里的内容了

github地址 https://github.com/ggsgit/NetEaseCloudMusic