Python爬虫之scrapy_splash组件的使用
scrapy_splash是scrapy的一个组件scrapy-splash加载js数据是基于Splash来实现的。Splash是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器,Splash是用Python和Lua语言实现的,基于Twisted和QT等模块构建。使用scrapy-splash最终拿到的response相当于是在浏览器全部渲染完成以后的网页源代码。splash官方文档splash中文文档。
原创
2023-03-10 14:14:43 ·
1029 阅读 ·
0 评论