scrapy集成selenium

最新推荐文章于 2025-05-13 09:10:21 发布

原创最新推荐文章于 2025-05-13 09:10:21 发布 · 386 阅读

1 ·

CC 4.0 BY-SA版权

scrapy 专栏收录该内容

16 篇文章

订阅专栏

本文介绍如何结合Scrapy和Selenium实现动态网页爬取。主要内容包括：利用Selenium.webdriver下载页面并返回给Scrapy处理；使用HtmlResponse处理响应；关闭Chrome浏览器的方法；提高解析效率的技巧；实现页面滚动加载；禁用图片加载；以及在无界面环境下运行Chrome。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.首先要明确scrapy的流程spider将request发给downloader middleware去下载，然后后者再将response交还给spider去解析。
2.因此，在middleware收到request之后，可以不用直接去下载，而使用selenium.webdriver去下载，然后返回response，这涉及到一个模块scrapy.http.HtmlResponse.
3.同时，关于如何关闭chrome，涉及到信号问题，即scrapy closed 的时候，browser quit。scrapy.signals 模块，scrapy.xlib.pydispatch.dispatch函数
4.对于parse,可以用更有效率的scrapy.selector. S=scrapy.selector(text=browser.page_sourse/response)
5.browser.execute_script(‘windows.scrollTo(0,document.body.scrollHeight);var lenOfPage=document.body.scrollHeight;return lenOfPage;’)完成鼠标下拉
5.不加载图片
在这里插入图片描述
6.chrome在无界面情况下使用，首先pip install pyvirtualdisplay